80 83542

新浪微博_博主主页

ym 于 2015-8-13 15:22 发表 [复制链接]
Fuller 管理员 发表于 2016-9-7 17:34:52 | 显示全部楼层
mashulv 发表于 2016-9-7 17:18
为什么有的时候没有跑全所有微博就停止了

如果遇到网速慢,或者新浪微博网站暂时性阻塞,翻页的时候就会好久加载不出来底线的翻页条,DS打数机就以为翻页结束了,就会终止。

你可以把滚屏次数设置的大一些,这样抓取会变慢,等待时间变长
举报 使用道具
黄金时代2016 新手上路 发表于 2016-9-20 16:10:56 | 显示全部楼层
学习,积分!
举报 使用道具
黄金时代2016 新手上路 发表于 2016-9-20 16:12:26 | 显示全部楼层
赞!
举报 使用道具
baolinshizhu 新手上路 发表于 2016-11-5 10:58:18 | 显示全部楼层
为什么我用了登录微博之后的微博网址,可是在抓取时它还弹出要我登录的要求?
举报 使用道具
baolinshizhu 新手上路 发表于 2016-11-5 11:29:56 | 显示全部楼层
为什么不能翻页呀~爬完第一页后就停了
举报 使用道具
Fuller 管理员 发表于 2016-11-5 11:42:36 | 显示全部楼层
baolinshizhu 发表于 2016-11-5 10:58
为什么我用了登录微博之后的微博网址,可是在抓取时它还弹出要我登录的要求?
...

如果你用的是火狐插件版,那么就在火狐中登录新浪微博,如果用的是GS爬虫浏览器,那么就在GS爬虫浏览器中登录微博。登录的时候,可以勾上“记住我”
举报 使用道具
Fuller 管理员 发表于 2016-11-5 11:43:08 | 显示全部楼层
baolinshizhu 发表于 2016-11-5 11:29
为什么不能翻页呀~爬完第一页后就停了

要登录成功才能翻页
举报 使用道具
baolinshizhu 新手上路 发表于 2016-11-5 14:24:10 | 显示全部楼层
为什么总是匹配不成功?
举报 使用道具
Fuller 管理员 发表于 2016-11-5 16:10:56 | 显示全部楼层
baolinshizhu 发表于 2016-11-5 14:24
为什么总是匹配不成功?

自己做的规则还是下载的规则?
举报 使用道具
CassieMouse 高级会员 发表于 2018-12-23 03:34:08 | 显示全部楼层
请问这些规则应该如何应用到自己的网页中去,上面的两个链接点开智能出现网页呢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 23:46