任务名:携程旅行线路点评数据
遇到的问题:爬取携程产品评论时无法爬取到需要展开的评论以及追评的评论,但是并非每一条评论都需要展开或者有追评,请问这种情况应该怎么处理?急急急

举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2024-1-28 11:37

沙发
Fuller 管理员 发表于 2024-1-26 19:59:39 | 只看该作者
不应该把每个采集内容都勾上关键内容,只保留一个就可以了




举报 使用道具
板凳
ee11__ 新手上路 发表于 2024-1-27 13:18:06 | 只看该作者
Fuller 发表于 2024-1-26 19:59
不应该把每个采集内容都勾上关键内容,只保留一个就可以了

谢谢!但是我刚刚又尝试抓取了一次,结果是需要展开的评论内容抓取结果为空
请问该怎么解决呢?
举报 使用道具
地板
Fuller 管理员 发表于 2024-1-27 23:15:03 | 只看该作者
ee11__ 发表于 2024-1-27 13:18
谢谢!但是我刚刚又尝试抓取了一次,结果是需要展开的评论内容抓取结果为空
请问该怎么解决呢?
...

对比一下两种点评内容的DOM结构有什么不同

这是不需要展开的:


这是需要展开的:


红框标出来了他们的class不一样。爬虫自动生成规则的时候会选择class属性值作为定位标志。为了避免自动选择的标志达不到目的,就要手工做定位映射。选用下图红框中的DOM节点而不是蓝框中的DOM节点,选中后用鼠标右键菜单:“定位映射”。具体用法参看教程:https://www.gooseeker.com/doc/article-527-1.html

举报 使用道具
5#
ee11__ 新手上路 发表于 2024-1-28 11:37:47 | 只看该作者
已解决,谢谢!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-29 13:02