为什么点击激活所有线索就不抓取了

willgowell

或者说抓取的文件不保存了

willgowell · 发表于 2016-4-17 22:21:56

1355条线索抓取了95条后就停住了，我在重新激活所有的线索后直接是一个都不抓取了。或者是不保存到本地

Fuller · 发表于 2016-4-17 23:36:19

截个图看看DS打数机的界面，DS打数机的日志窗口中有什么信息

ym · 发表于 2016-4-18 09:56:47

willgowell 发表于 2016-4-17 22:21
1355条线索抓取了95条后就停住了，我在重新激活所有的线索后直接是一个都不抓取了。或者是不保存到本地 ...

你是单搜采集的话，就要再输入线索数量。用爬虫群采集的话，再重启一下爬虫群试试

willgowell · 发表于 2016-4-18 13:00:08

ym 发表于 2016-4-18 09:56
你是单搜采集的话，就要再输入线索数量。用爬虫群采集的话，再重启一下爬虫群试试 ...

我是激活后重新输入的线索数目啊，可是还是不行，没有数据保存

Fuller · 发表于 2016-4-18 15:39:20

截个图看看吧

Fuller · 发表于 2016-4-18 15:57:47

DS打数机窗口的下部是日志窗口，在那里会显示具体失败原因，截个图看看

willgowell · 发表于 2016-4-18 18:40:28

Fuller 发表于 2016-4-18 15:57
DS打数机窗口的下部是日志窗口，在那里会显示具体失败原因，截个图看看

截图显示SERVER（IO）ERROR。今天我在抓取的过程中13000+条的数据，但是抓取到800来条就停止抓取了，我把DS控制台关了重启，输入剩余的线索15107，点击单搜，就不进行抓取了，一直显示抓取失败

Fuller · 发表于 2016-4-18 21:23:55

willgowell 发表于 2016-4-18 18:40
截图显示SERVER（IO）ERROR。今天我在抓取的过程中13000+条的数据，但是抓取到800来条就停止抓取了，我把 ...

SERVER(IO)ERROR 是不是你在DS的浏览器中看到的？这是目标网站出问题了。
可能是你采集速度太快了。你先停半天试试。

另外，在会员中心，可以为这个规则定义调度参数，里面有控制速度的参数：1，线索间等待最短时间和 2，线索间等待最长时间，第一个数值应该小于第二个数值，这样才有效

共 8 个关于本帖的回复最后回复于 2016-4-18 21:23

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页