6 5910

嵌套样例复制不成功

wuli色混94 于 2021-5-12 12:01 发表 [复制链接]
做了嵌套样例复制,但是结果只能采集到第一行的第一个内容,其他的都采集不到
规则名:
政府工作报告爬取第一级
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2021-5-13 20:26

内容分析应用 金牌会员 发表于 2021-5-12 15:29:44 | 显示全部楼层
技术人员会测试你的规则, 如果发现问题, 会进行进一步分析
举报 使用道具
maomao 论坛元老 发表于 2021-5-12 18:55:43 | 显示全部楼层
对最外层的样例复制,第一个TR是第一个样例,第二个TR是第二个样例

嵌套样例复制回答.png

举报 使用道具
Fuller 管理员 发表于 2021-5-13 11:01:23 | 显示全部楼层
这个规则我看看怎么调整,这个网页有些麻烦,唯独第一个单元格跟别的结构不一样,STRONG节点位置不一样,所以,规则总是失效,要用自定xpath提高适应性
strong位置20210513110047.png
举报 使用道具
Fuller 管理员 发表于 2021-5-13 11:12:14 | 显示全部楼层
因为网页上A和STRONG的嵌套关系有变化,为了适应这个变化,就用上级的TD节点做内容映射,抓取内容“年份”和“链接”都用这个td节点做内容映射,因为给链接设置了下级线索,所以,爬虫会知道要去找@href节点,不用精准地用@href映射给“链接”。


那么,剩下的工作就好做了,用红框里面的TD做样例映射给“行”,篮筐里面的TR做样例映射给“历年政府工作报告”


网址20210513110842.png
举报 使用道具
Fuller 管理员 发表于 2021-5-13 11:19:32 | 显示全部楼层
网址设置20210513111807.png

只要勾上网址设置的任何一个选项,爬虫软件就知道要去找@href,所以,不用精确映射,可以选层次比较高的td节点
举报 使用道具
wuli色混94 新手上路 发表于 2021-5-13 20:26:49 | 显示全部楼层
Fuller 发表于 2021-5-13 11:19
只要勾上网址设置的任何一个选项,爬虫软件就知道要去找@href,所以,不用精确映射,可以选层次比较高的t ...

好哒,谢谢老师
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 22:42