261#
220505010065 初级会员 发表于 2025-4-16 19:46:50 | 只看该作者
wangyong 发表于 2025-4-15 10:25
方便发一下你采集的链接我们测试一下吗

我发现就算换个链接也会出现我描述的情况(如图所示),仅采集20条左右就会自动停止,请问这是否是我的操作出现了问题

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
262#
wangyong 版主 发表于 2025-4-17 11:03:53 | 只看该作者
220505010065 发表于 2025-4-16 19:46
我发现就算换个链接也会出现我描述的情况(如图所示),仅采集20条左右就会自动停止,请问这是否是我的操 ...


这个可比克的商品我们测试能采集到2000多条评论,你是不是采集的比较多了,评论内容还能正常加载出来吗

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
263#
220505010065 初级会员 发表于 2025-4-18 14:51:16 | 只看该作者
wangyong 发表于 2025-4-17 11:03
这个可比克的商品我们测试能采集到2000多条评论,你是不是采集的比较多了,评论内容还能正常加载出来吗
...

我想请问如果是我采集的过多了,那这种情况该如解决。另外附上我采集内容的截图,这张图就是全部采集内容。会自动停止这个内容真的让我十分困扰

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
264#
gz51837844 管理员 发表于 2025-4-18 18:38:40 | 只看该作者
220505010065 发表于 2025-4-18 14:51
我想请问如果是我采集的过多了,那这种情况该如解决。另外附上我采集内容的截图,这张图就是全部采集内容 ...

我们再测试下。
另外天猫商品评价采集,是瀑布流,一直往下滚屏。目前我们把滚屏速度设置的比较慢,理论上应该不容易触发天猫网站的反爬。
你可以观察下,采集的时候采集窗口里有没有正常加载出评价内容页面
举报 使用道具
265#
zunduaixuexi 新手上路 发表于 2025-6-23 08:19:48 | 只看该作者
微博博文展开全文采集总是自动停止,日志显示抓取失败(超时),抓取规则不合适或者超时时间设置太短,已经登录微博帐号了,还有什么解决办法呢
举报 使用道具
266#
Fuller 管理员 发表于 2025-6-23 10:09:36 | 只看该作者
zunduaixuexi 发表于 2025-6-23 08:19
微博博文展开全文采集总是自动停止,日志显示抓取失败(超时),抓取规则不合适或者超时时间设置太短,已经 ...

你添加的网址是什么?是一条条微博博文的网址吗?
举报 使用道具
267#
gz51837844 管理员 发表于 2025-6-23 10:44:00 | 只看该作者
zunduaixuexi 发表于 2025-6-23 08:19
微博博文展开全文采集总是自动停止,日志显示抓取失败(超时),抓取规则不合适或者超时时间设置太短,已经 ...

你是使用这个快捷采集:微博博文展开全文采集
我使用这条微博(https://weibo.com/1740577712/PxfMu4pfP)测试了下,爬取正常:

你看看添加的网址是否是一条正常的微博详情网址?可以把网址发出来我们测试下
另外还有1种可能,你是不是采集的比较多,造成了微博的反爬?这种情况可以尝试按这篇帖子:集搜客爬虫软件和数据管家怎样清除cookie/缓存/网页访问记录 做一下清缓存,如果还是不行,可能需要过一段时间再尝试。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-7-11 16:04