举报 使用道具
| 回复

共 28 个关于本帖的回复 最后回复于 2018-1-4 16:46

qq16359 新手上路 发表于 2016-5-4 01:33:10 | 显示全部楼层
好像很厉害的样子喔
举报 使用道具
ethree 新手上路 发表于 2016-7-1 11:11:11 | 显示全部楼层

好像很厉害的样子喔
举报 使用道具
markjl 新手上路 发表于 2016-10-8 17:28:39 | 显示全部楼层
是用什么语言写的?python 么?
举报 使用道具
wjzeng 初级会员 发表于 2016-10-14 09:07:31 | 显示全部楼层
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫,设置成2的时候就不可以了呢?单开两个爬虫也不能运行......
举报 使用道具
Fuller 管理员 发表于 2016-10-14 09:12:00 | 显示全部楼层
wjzeng 发表于 2016-10-14 09:07
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫,设置成2的时候就不可以了呢?单开两个爬虫也不能运行 ...

有这个问题?我们测试一下。我先确认一下你的设置,是不是这样的:
1)在会员中心设置主题的调度参数,把最大运行爬虫数量设置为2
2)在DS打数机上配置爬虫群
DS打数机上爬虫群任务窗口设置了多少个?要2或者大于2
举报 使用道具
wjzeng 初级会员 发表于 2016-10-14 09:17:19 | 显示全部楼层
最大允许运行爬虫数必须设置成大于等于4吗?
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-10-14 09:24:32 | 显示全部楼层
wjzeng 发表于 2016-10-14 09:07
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫,设置成2的时候就不可以了呢?单开两个爬虫也不能运行 ...

我刚才测试了一下,没发现异常
你说的“设置成4的时候可以运行,设置成2的时候不可以”,具体是什么现象?
是爬虫没有进行爬取?还是只有1个窗口有爬取?
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-10-14 09:29:37 | 显示全部楼层
wjzeng 发表于 2016-10-14 09:17
最大允许运行爬虫数必须设置成大于等于4吗?

最大允许爬虫数是1到20的整数
举报 使用道具
wjzeng 初级会员 发表于 2016-10-14 09:55:47 | 显示全部楼层
shenzhenwan10 发表于 2016-10-14 09:24
我刚才测试了一下,没发现异常
你说的“设置成4的时候可以运行,设置成2的时候不可以”,具体是什么现象 ...

最大允许运行爬虫数设置成1、2、3的时候爬虫没有进行爬取(所有爬虫窗口都是),设置成大于4时才可以
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 19:48