爬取多个网页会不会因为网页加载慢而没办法爬到所有数据?
17-01-20 网页刷新慢.png
上图是我打开采集的网页,发现数据是有的,就是没采集全。

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-1-20 15:36

xandy 论坛元老 发表于 2017-1-20 15:36:51 | 显示全部楼层
网页上应该存在一些一定会有的内容,把他们设置成关键内容,这是防止抓空数据的关键。
另外,网页加载太慢的话,你可在DS上通过设置滚屏参数把抓取速度放慢来,避免抓空。


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 02:24