本人是刚刚接触爬虫的新手。
   目标:抓取一个网站上公布的所有产品报价
   操作流程:按照教学的步骤,在MS谋数台设定了规则和线索,点击“抓数据”后,DS打数机开始工作,存储的文件夹里陆续出现一个个XML文档,到此为止貌似一切顺利。
  问题来了:在抓取工作进行了二十分钟后,发现打数机突然停止工作,日志里出现了下面的字:
                   再看存储文件的文件夹里,已经有了不少XML文档,用EXCEL导入之后可以看到部分抓取的信息。
                  然并卵,这不是我想要的。我想要全部,它只给了我局部。
                  另外,大家看看我线索统计,成功抓取率居然是0,但我明明已经抓大到了一部分啊。
                 实在搞不懂,请大神们指点,咱们也交个朋友。

线索统计.png (3.67 KB, 下载次数: 667)

线索统计.png
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2015-11-6 10:43

沙发
wangyong 版主 发表于 2015-11-5 14:32:20 | 只看该作者
1.想要全部只抓了局部是规则没有设置好,谋数台整理箱中有测试按钮可以看到当前页面抓取到的内容是什么。
2.抓取到了一大部分也只是翻页后的数据,线索还是一条,唯一的一条出现timeout了也就是抓取失败了。
3.出现timeout问题参看:http://www.gooseeker.com/doc/thread-663-1-1.html
举报 使用道具
板凳
yuelaoban123 新手上路 发表于 2015-11-6 10:43:09 | 只看该作者
谢谢你
举报 使用道具
地板
yuelaoban123 新手上路 发表于 2015-11-6 10:43:20 | 只看该作者
wangyong 发表于 2015-11-5 14:32
1.想要全部只抓了局部是规则没有设置好,谋数台整理箱中有测试按钮可以看到当前页面抓取到的内容是什么。
2 ...

谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 10:51