加载更多、查看更多的网页怎样做翻页

你好，把下级线索去掉打钩后，现在加入爬虫群后又显示线索匹配失败，这是为啥呢？

主题名还是QVC-1和QVC-2， 是我没有做样例复制？？，还有一个主题：BB-Primalush-1和 BB-Primalush-2 为什么不能抓取呢？ 之前那个Target 我用你说的二级规则，就可以拉取了，这个网站就不行了。。。。。

liuhu521 发表于 2017-2-17 12:48
主题名还是QVC-1和QVC-2， 是我没有做样例复制？？，还有一个主题：BB-Primalush-1和 BB-Primalush-2 为什 ...

关于这个BB-Primalush，抓取失败是不是和它这个网站有问题有关？点击评论按钮要半天加载不出来评论页面。https://www.bedbathandbeyond.com/store/product/berkshire-blanket-reg-primalush-trade-elite-blanket/3295139?Keyword=berkshire+blanket#BVRRWidgetID

ym 发表于 2017-2-16 16:37
QVC-1你把星级的下级线索勾上了，造成QVC-2的网址线索都是错误的，你去会员中心-规则管理中删掉QVC-2的所 ...

关于这个BB-Primalush-1和BB-Primalush-2，抓取失败是不是和它这个网站有问题有关？点击评论按钮要半天加载不出来评论页面。https://www.bedbathandbeyond.com/store/product/berkshire-blanket-reg-primalush-trade-elite-blanket/3295139?Keyword=berkshire+blanket#BVRRWidgetID

liuhu521 发表于 2017-2-17 12:48
主题名还是QVC-1和QVC-2， 是我没有做样例复制？？，还有一个主题：BB-Primalush-1和 BB-Primalush-2 为什 ...

QVC-1的下级线索的目标主题名要填QVC-2。。。
改完后记得先删掉QVC-1里的二级网址，否则又爬失败了

liuhu521 发表于 2017-2-17 13:49
关于这个BB-Primalush-1和BB-Primalush-2，抓取失败是不是和它这个网站有问题有关？点击评论按钮要半天加 ...

BB-Primalush这个网站的评论加载20分钟都不出来，爬虫默认最多等1分钟，加载不出页面信息的话都会失败，你试试翻墙访问这个网站看看会不会快点吧。
另外，试试增加超时时长和延时抓取的时间吧，滚屏参数可以调大滚屏次数，让滚屏慢点。详情看第2点说明http://www.gooseeker.com/doc/thread-676-1-2.html

这个BB-Primalush-1, 显示规则不适用，

liuhu521 发表于 2017-2-17 15:02
这个BB-Primalush-1, 显示规则不适用，

BB-Primalush-1这个规则是做了点击评论的动作，它会自动点击，然后用BB-Primalush-2来采集评论，这是个连贯执行的过程，显示规则不适用，可能是第一级执行失败，也可能是第二级执行失败，你参考这篇文章《怎样解决规则采集失败/遗漏的问题》分析解决吧。另外前面也说过了，评论部分的信息过了很长时间也没加载出来，这种情况是必然采集失败的。

liuhu521 发表于 2017-2-17 15:02
这个BB-Primalush-1, 显示规则不适用，

BB-Primalush-1抓取内容有的，在浏览器也看到连续点击动作了，就是BB-Primalush-2 没用，没启动

liuhu521 发表于 2017-2-17 16:49
BB-Primalush-1抓取内容有的，在浏览器也看到连续点击动作了，就是BB-Primalush-2 没用，没启动

...

如果看到动作都执行，那么DS就会用BB-Primalush-2去采集数据，此时，如果这个规则不适应，就会失败，就产生不了内容。这个失败状态会记录在第一个规则身上。所以，现在应该是第二个规则不适应