数据采集过程中,出现假死状态:

描述:
开始每个爬虫很流畅,之后逐渐出现假死状态,时间间隔越累越短,假死状态越来越长,最后程序崩溃
QQ截图20180620105319.jpg
QQ截图20180619125709.jpg
规则名:ICG_Archive_dt
列表页:https://www.crisisgroup.org/latest-updates
系统环境:win10
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-6-20 13:56

wangyong 版主 发表于 2018-6-20 11:46:43 | 显示全部楼层
窗口开的太多了,硬件跟不上就崩溃了,先少开几个窗口
举报 使用道具
bjdfhsxxjs 中级会员 发表于 2018-6-20 13:08:01 | 显示全部楼层
wangyong 发表于 2018-6-20 11:46
窗口开的太多了,硬件跟不上就崩溃了,先少开几个窗口

嗯,就开6个窗口也不行?
这得要什么样的硬件才行?我现在的机器,i5 8500,集显(核显),16G DDR4 2400,难道吃显卡?
cpu使用率也就30%不到,内存35%
举报 使用道具
cengceng 新手上路 发表于 2018-6-20 13:56:52 | 显示全部楼层
可能,你加载的网页比较复杂
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 23:15