任务名:买树苗供应二级

举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2021-12-20 16:30

Fuller 管理员 发表于 2021-12-20 15:12:33 | 显示全部楼层
把失败的网址发出来一些我测试一下
举报 使用道具
Fuller 管理员 发表于 2021-12-20 15:17:16 | 显示全部楼层
这个样本页面是vip的,用了一个特殊的class,很可能其他类型的网页有其他class,要对照一下,想想应对方法。其中一种方法是针对不同网页定义不同的采集规则,这些采集规则的任务名字一样,规则编号不一样,爬虫运行的时候会自动找到合适的一个
举报 使用道具
tangtang1234 高级会员 发表于 2021-12-20 15:22:18 | 显示全部楼层
Fuller 发表于 2021-12-20 15:17
这个样本页面是vip的,用了一个特殊的class,很可能其他类型的网页有其他class,要对照一下,想想应对方法 ...

https://www.maishumiao.cn/gongying/show-13824.htmlhttps://www.maishumiao.cn/gongying/show-13825.html
image.png



举报 使用道具
Fuller 管理员 发表于 2021-12-20 16:30:09 | 显示全部楼层
针对这个网页再做一个同任务名的规则,然后把失败线索重新激活。采集完成以后,如果还有失败的,对失败的再定义一个规则。这样经过几次,所有情况就解决了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 18:05