9 15561

请教大神问题

fred590 于 2019-7-18 10:23 发表 [复制链接]
我的规则名:摩点网游戏类项目三级
https://me.modian.com/u/detail?uid=5337556
https://me.modian.com/u/detail?uid=1011894
两个网站的摩点认证采集,class不同,id也不同这种怎么定位,但所要表达的信息都是认证信息。
还有其他信息那几个定位也是有问题,class都一样, 我用谋数台找到了绝对定位的Xpath代码,设置好了,但是在另一个网站又不行了。麻烦大神帮看看
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2019-7-18 18:08

Fuller 管理员 发表于 2019-7-18 10:48:22 | 显示全部楼层
采集内容20190718104748.png
这里面什么内容是要采集的?
举报 使用道具
fred590 初级会员 发表于 2019-7-18 10:50:37 | 显示全部楼层
Fuller 发表于 2019-7-18 10:48
这里面什么内容是要采集的?

摩点认证里的文本,还有其他信息里的发布的项目、关注的项目等信息都爬

举报 使用道具
Fuller 管理员 发表于 2019-7-18 12:16:43 | 显示全部楼层
fred590 发表于 2019-7-18 10:50
摩点认证里的文本,还有其他信息里的发布的项目、关注的项目等信息都爬

...

认证文本以及下面的其他信息,都可以用样例复制进行采集

样例图20190718121605.png
举报 使用道具
fred590 初级会员 发表于 2019-7-18 13:29:51 | 显示全部楼层
Fuller 发表于 2019-7-18 12:16
认证文本以及下面的其他信息,都可以用样例复制进行采集

方便具体说下吗?这跟平常的样例复制不一样呀,像教程的样例一有名称等信息,样例二也是。那这个怎么设置?支持的项目作为样例一,发布的项目为样例二?
举报 使用道具
Fuller 管理员 发表于 2019-7-18 15:11:13 | 显示全部楼层
fred590 发表于 2019-7-18 13:29
方便具体说下吗?这跟平常的样例复制不一样呀,像教程的样例一有名称等信息,样例二也是。那这个怎么设置 ...

样例20190718150422.png

建立一个多层整理箱,最顶上的容器节点“列表”中含有两个第二层容器节点“信息行”和“相关数量”。对于这种多层整理箱,需要先在工作台上创建好。点击鼠标右键,可以有各种新建抓取内容,比如,包容关系和兄弟关系,也可以移动

再做内容映射,比如,419那一个DOM节点映射给“信息行”,内容映射要在DOM上用鼠标右键做。465那一个DOM节点映射给“相关数量”

再做样例复制,因为有两个子容器,要做两个样例复制映射。先选中“认证信息”那个容器,选择上图的上面两个圆圈的节点,分别做第一样例复制和第二样例复制;
再选中“其他信息”那个容器,用下面红圈的节点做样例复制。样例复制映射的教程:https://www.gooseeker.com/doc/article-330-1.html

点击测试,看到采集到很多不要的信息,那么就要用定位标志映射,限定一下范围,像下图那样。定义标志映射的教程:https://www.gooseeker.com/doc/article-344-1.html

定位标志20190718150452.png


举报 使用道具
fred590 初级会员 发表于 2019-7-18 15:55:36 | 显示全部楼层
Fuller 发表于 2019-7-18 15:11
建立一个多层整理箱,最顶上的容器节点“列表”中含有两个第二层容器节点“信息行”和“相关数量”。对 ...

按您的方法我重新做了一下,第一个网站可以抓出来,但是同样的规则在第二个网站就不行了,认证信息那快,第一个网站的class是detail,第二个网站的class是introduction,id也不同。我试了下仅加载规则,让我联系管理员,如图。
QQ20190718-155059@2x.png
举报 使用道具
Fuller 管理员 发表于 2019-7-18 16:41:07 | 显示全部楼层
fred590 发表于 2019-7-18 15:55
按您的方法我重新做了一下,第一个网站可以抓出来,但是同样的规则在第二个网站就不行了,认证信息那快, ...

如果这种情况只有几种变化,一个简单的方法是针对这些情况定义多个规则,但是他们的任务名一样,规则编号不一样

多规则20190718164048.png
举报 使用道具
fred590 初级会员 发表于 2019-7-18 16:51:17 | 显示全部楼层
Fuller 发表于 2019-7-18 16:41
如果这种情况只有几种变化,一个简单的方法是针对这些情况定义多个规则,但是他们的任务名一样,规则编号 ...

那同一任务名下定义两个规则,当爬虫的时候打数机会自动选择规则是吗?
举报 使用道具
Fuller 管理员 发表于 2019-7-18 18:08:50 | 显示全部楼层
fred590 发表于 2019-7-18 16:51
那同一任务名下定义两个规则,当爬虫的时候打数机会自动选择规则是吗?
...

会自动选择,按照规则编号的顺序,逐个去匹配,最先遇到合适的就用那个
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 21:39