python爬虫实战（1）：爬取Drupal论坛帖子列表

1，引言

在《Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类，期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛，是一个用Drupal做的论坛。

2，技术要点

我们在多个文章都在说：节省程序员的时间。关键是省去编写提取规则的时间，尤其是调试规则的正确性很花时间。在《1分钟快速生成用于网页内容提取的xslt》演示了怎样快速生成提取规则，接下来我们再通过GooSeeker的api接口实时获得提取规则，对网页进行抓取。本示例主要有如下两个技术要点：

• 通过GooSeeker API实时获取用于页面提取的xslt
• 使用GooSeeker提取器GsExtractor从网页上一次提取多个字段内容。
  

3，python源代码

1. # _*_coding:utf8_*_
   
2. # crawler_gooseeker_bbs.py
   
3. # 版本: V1.0
   
4. 
   
5. from urllib import request
   
6. from lxml import etree
   
7. from gooseeker import GsExtractor
   
8. 
   
9. # 访问并读取网页内容
   
10. url = "http://www.gooseeker.com/cn/forum/7"
    
11. conn = request.urlopen(url)
    
12. doc = etree.HTML(conn.read())
    
13. 
    
14. bbsExtra = GsExtractor()   
    
15. bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "gooseeker_bbs_xslt")   # 设置xslt抓取规则，第一个参数是app key，请到会员中心申请
    
16. result = bbsExtra.extract(doc)   # 调用extract方法提取所需内容
    
17. 
    
18. print(str(result))
    
19. 
    

复制代码

源代码下载位置请看文章末尾的GitHub源。

4，抓取结果

运行上节的代码，即可在控制台打印出提取结果，是一个xml文件，如果加上换行缩进，内容如下图：

5，相关文档

1， Python即时网络爬虫项目: 内容提取器的定义

6，集搜客GooSeeker开源代码下载源
1， GooSeeker开源Python网络爬虫GitHub源

7，文档修改历史
1，2016-05-27：V1.0
2，2016-05-28：V2.0
3，2016-05-29：V2.1，增加GitHub下载源
4，2016-09-22：V2.2，更新了api key，原来的过期了。

from gooseeker import GsExtractor  没有这包

文章开头有写可插拔提取器的定义：https://www.gooseeker.com/doc/thread-1800-1-1.html