本帖最后由 dolphin_1983 于 2020-2-24 17:15 编辑

老师好,我有个问题想请教。我在抓取数据时,发现采集的内容与定位的内容不一致,这个问题应该怎么解决呢? 1.png 2.png 3.png
如图所示,成交价格和成交日期抓取的内容,和实际定位的不一致。
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2020-2-24 18:49

Fuller 管理员 发表于 2020-2-24 17:32:34 | 显示全部楼层
规则的名字是什么?
举报 使用道具
dolphin_1983 初级会员 发表于 2020-2-24 17:33:16 | 显示全部楼层
Fuller 发表于 2020-2-24 17:32
规则的名字是什么?

规则名字:房天下第三层0224
举报 使用道具
Fuller 管理员 发表于 2020-2-24 17:36:47 | 显示全部楼层
我现在不知道规则名字,没法加载分析,我估计是因为网页上有多个html节点含有相同的class。

方法1,点击“定位”按钮,选择定位偏好“只用id”试试
只用图20200224173621.png

其他方法:这里有一组帖子说这个问题,反正原则就是,如果因为有相同class的节点造成了混淆,就要通过手工选择合适的定位标志,做定位标志映射,避开这个问题。https://www.gooseeker.com/doc/thread-707-1-1.html

最后的方法:实在不行了,定位偏好选择“绝对定位”,不过,这样的规则适应性很差
举报 使用道具
dolphin_1983 初级会员 发表于 2020-2-24 17:44:00 | 显示全部楼层
只用id定位,成功了。哈哈,谢谢老师,水平真高!
举报 使用道具
Fuller 管理员 发表于 2020-2-24 17:55:45 | 显示全部楼层
dolphin_1983 发表于 2020-2-24 17:44
只用id定位,成功了。哈哈,谢谢老师,水平真高!

这个网页上有很多条目,你挑着采集了需要的条目,如果其他网页没有需要的条目,可能会采集失败。因为爬虫是根据网页上的相对位置采集数据的,少一个条目,就会造成顺序改变。

一种通用的方法是分别针对网页上这几个表(土地基本信息,土地交易信息)创建不同的整理箱,然后在整理箱中用样例复制规则把所有条目都采集下来,有什么采集什么。等存入数据库以后,再把需要的条目挑出来
举报 使用道具
dolphin_1983 初级会员 发表于 2020-2-24 18:49:51 | 显示全部楼层
Fuller 发表于 2020-2-24 17:55
这个网页上有很多条目,你挑着采集了需要的条目,如果其他网页没有需要的条目,可能会采集失败。因为爬虫 ...

您说的有道理,下回我换换思路来做。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 14:36