本帖最后由 ym 于 2015-10-26 15:42 编辑

常见问题 > 制作规则—常见问题导航 > 翻页 > 翻页中勾上连贯抓取有什么用

勾选连贯抓取,表示在执行抓取任务时,爬虫可以在同一个DS打数机窗口内抓取完当前页面后直接跳转到下一个页面进行抓取。也就是在同一爬虫窗口内抓完第一页继续抓第二页等后续页面。

如果不勾选连贯抓取,则抓完当前页面后停止抓取,翻页标志中包含下一页页面独立网址的话则为当前主题生成下一页的抓取线索。翻页标志中不包含下一页独立网址则不会有新线索生成。

如果翻页标志中包含的是JavaScript代码不是下一页的独立网址,生成的线索不可用。
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-12-1 22:01

沙发
lxacoder 初级会员 发表于 2016-12-1 21:58:14 | 只看该作者
这种情况记号选哪种记号
举报 使用道具
板凳
Fuller 管理员 发表于 2016-12-1 22:01:40 | 只看该作者
lxacoder 发表于 2016-12-1 21:58
这种情况记号选哪种记号

这里是解释连贯抓取,跟选择记号没有关系,记号该怎样选就怎样选,参看《翻页规则中定位映射和记号映射的作用
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-6 09:21