这样的。我怎么链接过来是不动的呢


举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2016-10-13 17:20

沙发
ym 版主 发表于 2016-10-13 16:14:19 | 只看该作者
刷新过程是由javascript实现的,你链接过来的时候没有把javascript弄过来,javascript是链接不过来的

举报 使用道具
板凳
MebiuW 初级会员 发表于 2016-10-13 16:14:49 | 只看该作者
ym 发表于 2016-10-13 16:14
刷新过程是由javascript实现的,你链接过来的时候没有把javascript弄过来,javascript是链接不过来的

...

可以抓下来吗
举报 使用道具
地板
ym 版主 发表于 2016-10-13 16:15:40 | 只看该作者

可以抓,但是行情数据都是实时更新的,爬虫抓太频繁很容易被封锁
举报 使用道具
5#
MebiuW 初级会员 发表于 2016-10-13 16:16:19 | 只看该作者
ym 发表于 2016-10-13 16:15
可以抓,但是行情数据都是实时更新的,爬虫抓太频繁很容易被封锁

好,谢谢
举报 使用道具
6#
Fuller 管理员 发表于 2016-10-13 17:14:19 | 只看该作者

不会封锁的,所有指数和行情,只需打开一次网页,爬虫定期去看和存最新数据,不用加载网页,所以,网站根本不知道我们在爬数据
举报 使用道具
7#
Fuller 管理员 发表于 2016-10-13 17:20:21 | 只看该作者
Fuller 发表于 2016-10-13 17:14
不会封锁的,所有指数和行情,只需打开一次网页,爬虫定期去看和存最新数据,不用加载网页,所以,网站根 ...

这样需要使用连续动作中的连续滚屏,实际上没有滚屏,只是激发了一次抓取和存文件。滚屏次数设置成-1,就是一直抓。这样的抓取过程没有加载网页,所以,目标网站根本不知道你在抓数据,所以,也不可能封锁。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-10 05:28