5 4949

多级标题怎么爬取?

nanwangni 于 2021-4-26 11:01 发表 [复制链接]
请教各位大神多级标题怎么爬取?
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2021-4-26 15:13

内容分析应用 金牌会员 发表于 2021-4-26 11:21:54 | 显示全部楼层
多级标题是指什么? 是同一个页面有多级标题, 还是多个不同层级的页面, 比如京东的商品搜索页和商品详情页
可以举个例, 截图或者给出网站的网址
举报 使用道具
nanwangni 新手上路 发表于 2021-4-26 11:37:08 | 显示全部楼层
https://zwfw.pingliang.gov.cn/gszw/ssqd/bmsx/bmsxlist.do?webid=12
https://zwfw.pingliang.gov.cn/art/2020/3/11/art_412338_37298.html
您好,想要每个事项的信息
举报 使用道具
内容分析应用 金牌会员 发表于 2021-4-26 12:13:00 | 显示全部楼层
你这个属于层级采集,就是从一个列表获取多个网址, 然后去采集详情页, 可以看这2个教程:
网络爬虫采集列表数据
爬网址做层级采集——以京东商品爬虫为例

同时你这个列表页不能直接获取详情页的网址, 需要采集下来后, 在excel里拼接得到网址
观察下面的详情网址:
https://zwfw.pingliang.gov.cn/art/2020/3/11/art_412338_37298.html
网址中可变的几个部分:2020, 3, 11,  412338, 37298
都可以从列表中采集到, 然后拼接得出完整的网址
QQ截图20210426120919.png



举报 使用道具
内容分析应用 金牌会员 发表于 2021-4-26 12:14:24 | 显示全部楼层
也可以委托给集搜客官方定制服务来帮你做
举报 使用道具
nanwangni 新手上路 发表于 2021-4-26 15:13:31 | 显示全部楼层
好的谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 18:46