抓取了1000个网址作为下级线索，但二级页面抓取时统计线索只有400多条？

如图所示，抓取1000个APP的链接作为下级线索，并在二级页面抓取相关信息，但在二级抓取时统计线索显示只有400多条线索，是什么原因呢？
另：我用的直接翻页的设置，没有连续动作设置。

参看帖子《下级页面数和统计下及线索数不一致》

xandy 发表于 2017-1-4 14:38
参看帖子《下级页面数和统计下及线索数不一致》

刚看了版主的回复，感觉并不是上面几个原因呢。每个下级线索并不是重复的。规则设置也十分简单，不晓得怎么搞了

sanmuluoluo 发表于 2017-1-4 14:41
刚看了版主的回复，感觉并不是上面几个原因呢。每个下级线索并不是重复的。规则设置也十分简单，不晓得怎 ...

3种原因都认真排查一下，因为有那么多的话肯定会采集到的

sanmuluoluo 发表于 2017-1-4 14:41
刚看了版主的回复，感觉并不是上面几个原因呢。每个下级线索并不是重复的。规则设置也十分简单，不晓得怎 ...

靠感觉是没用的，实践出真知，以后碰到类似问题实际操作看一下。

检查如下：

如上图，该酷传列表网页经采集，确实采集到了相关的1000个APP的基本资料，包含详情页面的链接，链接也有1000条
但是，第二级规则也就是统计生成的线索数只有434条，如下图所示。

看下链接是否有重复网址，如下图所示，一大批的网址是重复（标红）的

将网址去重后，剩下了434条网址，如下图所示：

综上所述：采集到的网址本身就是有重复的，所以统计的线索数经过去重处理后会减少。

xandy 发表于 2017-1-4 15:02
靠感觉是没用的，实践出真知，以后碰到类似问题实际操作看一下。

检查如下：

扫噶，明白了，多谢版主！

那有没有办法抓取所有的呢？虽然重复了，但是我确实还是需要的

线索会自动去重，这种需要抓取下来后用Excel或其他工具筛出重复的，抓完一遍后再继续添加其他的线索

wevolution 发表于 2017-3-24 15:13
那有没有办法抓取所有的呢？虽然重复了，但是我确实还是需要的

网页上能看到的这些内容是都能抓下来的，但是生成下级线索的时候，如果网址有重复，就会被过滤掉

wevolution 发表于 2017-3-24 15:13
那有没有办法抓取所有的呢？虽然重复了，但是我确实还是需要的

在第一级的时候是采全的
就算是有一样的下级链接也是都采了的
只是作为线索添加到第二级规则的时候
程序会去重