这2天测试了好几个网站的数据爬取,都是翻页这里无法完成,请大神、管理员指点一下。
主题名:教务智联_1
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2019-9-4 17:33

Fuller 管理员 发表于 2019-5-15 12:21:36 | 显示全部楼层
我测试翻页抓取没有问题。DS打数机的自动滚屏有没有打开?DS打数机菜单 配置-》滚屏参数,把滚屏次数设置成>0的数字,比如,5,自动滚屏可以让网页下面的内容也加载上来,这样点击下一页才可靠
举报 使用道具
feiyasun2015 新手上路 发表于 2019-5-15 12:48:34 | 显示全部楼层
我已经设置成5了,但是导出的数据都是只有第一页的,爬数据时只有1条线索
举报 使用道具
Fuller 管理员 发表于 2019-5-15 15:24:05 | 显示全部楼层
feiyasun2015 发表于 2019-5-15 12:48
我已经设置成5了,但是导出的数据都是只有第一页的,爬数据时只有1条线索 ...

我测试了你的规则,样例复制没有问题,列表中所有数据都能采集到
举报 使用道具
feiyasun2015 新手上路 发表于 2019-5-15 16:29:03 | 显示全部楼层
管理员大大,不止有样例复制,还有翻页,我想要的是翻页,可是按照记号线索规则,没有办法翻页
举报 使用道具
Fuller 管理员 发表于 2019-5-15 16:44:09 | 显示全部楼层
feiyasun2015 发表于 2019-5-15 16:29
管理员大大,不止有样例复制,还有翻页,我想要的是翻页,可是按照记号线索规则,没有办法翻页 ...

翻页那里,主题名要与当前主题名一致。我测试翻页没有问题
翻页20190515164232.png
举报 使用道具
aa1122 初级会员 发表于 2019-9-4 17:33:30 | 显示全部楼层
你尝试将创建规则里的测试中的偏好id换成偏好class
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 08:19