怎样抓取包含某个关键字的网页

怎样抓取包含某个关键字的网页

可以通过搜索引擎来找到包含关键字的网页，例如百度搜索。然后做两级规则，第一级规则把搜索结果的网址都采下来，并设置下级线索，第二级规则是采集搜索到的二级网页。可以参考案例教程《采集网址做层级采集》

注意：第二级的网页来源于多个网站，网页结构都不相同，如果只采集网页的某部分信息，那么就要对每个二级网页都做对应的采集规则，这样的工作量是非常巨大的，所以，不建议这种做法。如果是把二级网页整个html采下来，后面再进行提取处理，这种就简单多了，采html可以参考教程《采集网页html源码》

好的，谢谢解答