有些线索采集失败了,重新激活,那最后采集结果会不会有重复
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2019-3-2 10:16

沙发
HJLing 版主 发表于 2016-10-11 12:05:17 | 只看该作者
不会的 失败的线索本来就没有生成结果文件 所以不会重复
举报 使用道具
板凳
beanbing 中级会员 发表于 2016-10-24 18:21:14 | 只看该作者
那如果中途断掉了,是自动在之前断掉的那里继续采集吗   还是会重头采集呢
举报 使用道具
地板
shenzhenwan10 金牌会员 发表于 2016-10-24 18:55:37 | 只看该作者
对于有翻页的情况,如果执行了一半就失败了,这时候已经有1个或多个结果文件生成
如果激活该条线索后重新抓取,会出现重复采集的情况,可以对结果进行去重处理
举报 使用道具
5#
zyy994514828 中级会员 发表于 2019-3-2 00:43:52 | 只看该作者
shenzhenwan10 发表于 2016-10-24 18:55
对于有翻页的情况,如果执行了一半就失败了,这时候已经有1个或多个结果文件生成
如果激活该条线索后重新抓 ...

对于有翻页的情况,可以在导出前去重吗
举报 使用道具
6#
Fuller 管理员 发表于 2019-3-2 10:16:17 | 只看该作者
zyy994514828 发表于 2019-3-2 00:43
对于有翻页的情况,可以在导出前去重吗

会员中心的导入导出功能没有去重功能,这点要注意,因为会员中心并不知道应该根据什么去重,比如,有些会员是特意的周期性重复采集,以便跟踪价格、库存等数字的变化,有些会员可能只想要一次结果,而判断重复还可能根据一些很具体的字段,那么会员中心是不知道这么多条件的。

要等导出数据以后,自己在Excel中,利用Excel的功能做处理
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 02:33