结合scrapy调用API，重现例子失败了

我再尝试使用scrapy调用gooseeker的api,复现官网给出的爬取房屋信息的例子，结果失败了。经过1天的调试，还是没成功，我发现在在gooseeker浏览器里面是可以获取到数据的，是因为我用的gooseeker代码版本太低了吗。实在不知道什么原因。

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. import os
   
4. from urllib import request
   
5. from urllib.parse import quote
   
6. from lxml import etree
   
7. 
   
8. class GsExtractor(object):
   
9.     def _init_(self):
   
10.         self.xslt = ""
    
11.     # 从文件读取xslt
    
12.     def setXsltFromFile(self , xsltFilePath):
    
13.         file = open(xsltFilePath , 'r' , encoding='UTF-8')
    
14.         try:
    
15.             self.xslt = file.read()
    
16.         finally:
    
17.             file.close()
    
18.     # 从字符串获得xslt
    
19.     def setXsltFromMem(self , xsltStr):
    
20.         self.xslt = xsltStr
    
21.     # 通过GooSeeker API接口获得xslt
    
22.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
    
23.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
    
24.         if (middle):
    
25.             apiurl = apiurl + "&middle="+quote(middle)
    
26.         if (bname):
    
27.             apiurl = apiurl + "&bname="+quote(bname)
    
28.         apiconn = request.urlopen(apiurl)
    
29.         self.xslt = apiconn.read()
    
30.     # 返回当前xslt
    
31.     def getXslt(self):
    
32.         return self.xslt
    
33.     # 提取方法，入参是一个HTML DOM对象，返回是提取结果
    
34.     def extract(self , html):
    
35.         xslt_root = etree.XML(self.xslt)
    
36.         transform = etree.XSLT(xslt_root)
    
37.         result_tree = transform(html)
    
38.         return result_tree
    
39.     # 提取方法，入参是html源码，返回是提取结果
    
40.     def extractHTML(self , html):
    
41.         doc = etree.HTML(html)
    
42.         return self.extract(doc)
    
43. 
    
44.   
    
45.    
    
46. class JobSpider(scrapy.Spider):
    
47.     name = 'job'
    
48.     allowed_domains = ['anjuke.com']
    
49.     start_urls = ['http://bj.zu.anjuke.com/fangyuan/p1']
    
50. 
    
51.     def parse(self, response):
    
52.         print("----------------------------------------------------------------------------")
    
53.         # 引用提取器
    
54.         bbsExtra =GsExtractor()
    
55.         # 设置xslt抓取规则
    
56.         bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "安居客_房源")
    
57.         # 调用extract方法提取所需内容
    
58.         result = bbsExtra.extractHTML(response.body)
    
59.         # 打印采集结果
    
60.         print(str(result).encode('gbk','ignore').decode('gbk'))
    
61.         # 保存采集结果
    
62.         file_path = os.getcwd() + "/anjuke-result.xml"
    
63.         open(file_path,"wb").write(result)
    
64.         # 打印结果存放路径
    
65.         print("采集结果文件：" + file_path)<img src="https://www.gooseeker.com/doc/forum.php?mod=image&aid=10175&size=300x300&key=ca32112dd7768643&nocache=yes&type=fixnone" border="0" aid="attachimg_10175" alt="">

复制代码

我在本地通过urllib.request是可以获取到结果的。我觉得你应该检查一下这个response.body

szuaudi 发表于 2018-10-17 10:54
我在本地通过urllib.request是可以获取到结果的。我觉得你应该检查一下这个response.body
...

你好，感谢回复，方便把代码发一下吗。还有您使用的是样例的规则还是自己定义的规则呢？

13395410370 发表于 2018-10-17 12:21
你好，感谢回复，方便把代码发一下吗。还有您使用的是样例的规则还是自己定义的规则呢？ ...

“安居客_房源” 这个规则，是你定义的吗？

13395410370 发表于 2018-10-17 12:21
你好，感谢回复，方便把代码发一下吗。还有您使用的是样例的规则还是自己定义的规则呢？ ...

我使用的你发的api，也就是你的规则

13395410370 发表于 2018-10-17 12:21
你好，感谢回复，方便把代码发一下吗。还有您使用的是样例的规则还是自己定义的规则呢？ ...

1. # -*- coding: utf-8 -*-
   
2. import os
   
3. from urllib import request
   
4. from urllib.parse import quote
   
5. from lxml import etree
   
6. 
   
7. class GsExtractor(object):
   
8.     def _init_(self):
   
9.         self.xslt = ""
   
10.     # 从文件读取xslt
    
11.     def setXsltFromFile(self , xsltFilePath):
    
12.         file = open(xsltFilePath , 'r' , encoding='UTF-8')
    
13.         try:
    
14.             self.xslt = file.read()
    
15.         finally:
    
16.             file.close()
    
17.     # 从字符串获得xslt
    
18.     def setXsltFromMem(self , xsltStr):
    
19.         self.xslt = xsltStr
    
20.     # 通过GooSeeker API接口获得xslt
    
21.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
    
22.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
    
23.         if (middle):
    
24.             apiurl = apiurl + "&middle="+quote(middle)
    
25.         if (bname):
    
26.             apiurl = apiurl + "&bname="+quote(bname)
    
27.         apiconn = request.urlopen(apiurl)
    
28.         self.xslt = apiconn.read()
    
29.     # 返回当前xslt
    
30.     def getXslt(self):
    
31.         return self.xslt
    
32.     # 提取方法，入参是一个HTML DOM对象，返回是提取结果
    
33.     def extract(self , html):
    
34.         xslt_root = etree.XML(self.xslt)
    
35.         transform = etree.XSLT(xslt_root)
    
36.         result_tree = transform(html)
    
37.         return result_tree
    
38.     # 提取方法，入参是html源码，返回是提取结果
    
39.     def extractHTML(self , html):
    
40.         doc = etree.HTML(html)
    
41.         return self.extract(doc)
    
42. 
    
43.   
    
44.    
    
45. url = 'http://bj.zu.anjuke.com/fangyuan/p1';
    
46. 
    
47. rq = request.Request(url, headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'});
    
48. conn = request.urlopen(rq);
    
49. html = conn.read()
    
50. 
    
51. bbsExtra =GsExtractor()
    
52. # 设置xslt抓取规则
    
53. bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "安居客_房源")
    
54. # 调用extract方法提取所需内容
    
55. result = bbsExtra.extractHTML(html)
    
56. print(result)

复制代码