huangp0 新手上路 发表于 2022-6-6 10:00:28 | 显示全部楼层
为什么快手采集视频评论只能采集到50条评论呀!急!
举报 使用道具
Fuller 管理员 发表于 2022-6-6 11:09:19 | 显示全部楼层
huangp0 发表于 2022-6-6 10:00
为什么快手采集视频评论只能采集到50条评论呀!急!

要采集的网址发出来我试试。你用的是哪个快捷采集工具?
举报 使用道具
Lagrange2021 新手上路 发表于 2022-6-18 23:15:22 | 显示全部楼层
头条文章的评论只能采集前20条吗,后边的需要点更多评论的按钮
举报 使用道具
Fuller 管理员 发表于 2022-6-19 10:46:14 | 显示全部楼层
Lagrange2021 发表于 2022-6-18 23:15
头条文章的评论只能采集前20条吗,后边的需要点更多评论的按钮

爬虫规则失效了,我修改了爬虫规则,现在可以采集更多评论了。

这个规则没有采集评论的评论,只采集了第一层评论
举报 使用道具
Lagrange2021 新手上路 发表于 2022-6-19 16:57:02 | 显示全部楼层
抖音的关键词搜索只能采集到10条,不会自动滚动
举报 使用道具
Fuller 管理员 发表于 2022-6-19 17:19:51 | 显示全部楼层
Lagrange2021 发表于 2022-6-19 16:57
抖音的关键词搜索只能采集到10条,不会自动滚动

采集抖音之前,要在爬虫浏览器中登录抖音。

目前可以用关键词搜索两类内容:视频、用户。 抖音网站上的综合搜索还不支持。你用的是哪种搜索?
举报 使用道具
Lagrange2021 新手上路 发表于 2022-6-19 17:35:05 | 显示全部楼层
Fuller 发表于 2022-6-19 17:19
采集抖音之前,要在爬虫浏览器中登录抖音。

目前可以用关键词搜索两类内容:视频、用户。 抖音网站上的 ...

我登陆了,用的搜索就是示例链接的那个链接我在里边输的关键字
举报 使用道具
Fuller 管理员 发表于 2022-6-19 21:53:52 | 显示全部楼层
Lagrange2021 发表于 2022-6-19 17:35
我登陆了,用的搜索就是示例链接的那个链接我在里边输的关键字

刚才我测试了抖音视频关键词搜索,使用了“就业率”这个关键词,快捷采集工具是这个:https://www.gooseeker.com/res/rule_801.html , 采集的网页是这个:https://www.douyin.com/search/%E ... arch&type=video

采集是正常的。注意:
1,爬虫运行的时候,窗口要尽量放大到最大。上面可以覆盖别的窗口,但是不能缩小
2,一开始要观察一下正在爬数据的窗口,有没有看到自动滚动屏幕,而且新内容显示出来
3,在快捷采集界面上,要选择爬取的页数,要选择你想要的数字,不能用缺省的一页
举报 使用道具
Fuller 管理员 发表于 2022-6-19 21:56:52 | 显示全部楼层
我刚才还测试了抖音用户关键词搜索,运行也是没有问题。

观察一下滚屏的时候,在页面底端有没有出现“服务异常”或者“没有更多数据了”这样的字样。我发现有时候会出现这样的提示。我现在安排人把滚屏速度调低一些,也许能避免出现这样的情况
举报 使用道具
Lagrange2021 新手上路 发表于 2022-6-20 10:15:26 | 显示全部楼层
Fuller 发表于 2022-6-19 21:56
我刚才还测试了抖音用户关键词搜索,运行也是没有问题。

观察一下滚屏的时候,在页面底端有没有出现“服务 ...

请问下载下来的文件出错怎么办
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 23:25