做了一个常规抓取商户列表的规则,做规则的网址可以翻页,其余同类型的线索网址输入进去;运行了第一页之后,不翻页了,也无报错,重建规则之后,还是不行。

规则主题名:区级菜系_商户列表

翻页成功线索网址:http://www.dianping.com/search/category/1/10/g116r3o10

其余异常线索样例:

www.dianping.com/search/category/1/10/g101r8846o10
www.dianping.com/search/category/1/10/g101r5939o10
www.dianping.com/search/category/1/10/g102r12o10
www.dianping.com/search/category/1/10/g117r8o10
www.dianping.com/search/category/1/10/g118r2o10
www.dianping.com/search/category/1/10/g102r5937o10
www.dianping.com/search/category/1/10/g118r7o10
www.dianping.com/search/category/1/10/g117r8846o10


新年快乐,烦请方便的时候帮忙查看下,谢谢。
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-1-2 14:51

沙发
Fuller 管理员 发表于 2017-1-1 22:25:46 | 只看该作者
刚才我试了第一个,也能翻页。把DS打数机的滚屏功能打开,另外,选择菜单 配置-〉定时器触发
举报 使用道具
板凳
meicairen 高级会员 发表于 2017-1-1 22:39:37 | 只看该作者
Fuller 发表于 2017-1-1 22:25
刚才我试了第一个,也能翻页。把DS打数机的滚屏功能打开,另外,选择菜单 配置-〉定时器触发 ...

是异常线索里面的第一个吗?滚屏参数没动,是正常的,定时器触发我也调整了,还是没用。
举报 使用道具
地板
meicairen 高级会员 发表于 2017-1-1 22:40:22 | 只看该作者
Fuller 发表于 2017-1-1 22:25
刚才我试了第一个,也能翻页。把DS打数机的滚屏功能打开,另外,选择菜单 配置-〉定时器触发 ...

我用浏览器上的DS打数机运行,也是不能翻页
举报 使用道具
5#
Fuller 管理员 发表于 2017-1-2 14:51:45 | 只看该作者
meicairen 发表于 2017-1-1 22:40
我用浏览器上的DS打数机运行,也是不能翻页

我找到问题原因了,是爬虫软件的一个bug



如果添加网址的时候,前面不带http://,就会出错。当前版本,你使用的时候要把http://补上
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-10 17:18