使用scrapy框架爬取58上面租房信息
源码如下:
-- coding: utf-8 --
import scrapy
from zufang.items import ZufangItem
class SpiderSpider(scrapy.Spider):
name = ‘spider’
allowed_domains = [‘58.com’]
start_urls = [‘http://hz.58.com/chuzu/‘]
def parse(self, response):
#获取页面房子列表
lis = response.xpath("//ul[@class='listUl']/li")[:-2]
# print(lis)
# 获取单个房子信息
for li in lis:
if response.xpath("//ul[@class='listUl']/li/@class")=='apartments-pkg apartments':
continue
item=ZufangItem()
item['price']=li.xpath('./div[3]/div[2]/b/text()').extract_first()+"元/每月"
item['size']=''.join([i.replace(' ','') for i in li.xpath('./div[2]/p[1]/text()').extract()]).replace('\xa0','')
item['img_url']="http:"+li.xpath('./div[1]/a/img/@src').extract_first()
item['addr']=''.join([i.replace(' ','') for i in li.xpath('./div[2]/p[2]/a[2]/text()').extract()]).replace('\xa0','')
yield item
next_page = response.xpath('//*[@id="bottom_ad_li"]/div[2]/a/span/text()').extract_first()
if next_page !=None:
next_url = response.xpath("//*[@id='bottom_ad_li']/div[2]/a[last()]/@href").extract_first()
# next_url = response.xpath("//*[@id='bottom_ad_li']/div[2]/a/@href").extract_first()
yield scrapy.Request(next_url, callback=self.parse)
注意点:
获取价格:./div[3]/div[2]/b/text()
获取 元/每月 ./div[3]/div[2]/text()
两者无法拼接
解决办法:item[‘price’]=li.xpath(‘./div[3]/div[2]/b/text()’).extract_first()+”元/每月”
房间样式大小 {‘price’: ‘1200元/每月’, ‘size’: ‘主卧(3室) \xa0\xa0\xa0\xa025㎡’}
去掉 \xa0\xa0\xa0\xa0
item[‘size’]=”.join([i.strip() for i in li.xpath(‘./div[2]/p[1]/text()’).extract()]).replace(‘\xa0’,”)
去除中间空格
item[‘size’]=”.join([i.replace(’ ‘,”) for i in li.xpath(‘./div[2]/p[1]/text()’).extract()]).replace(‘\xa0’,”)
1.strip():把头和尾的空格去掉
2.lstrip():把左边的空格去掉
3.rstrip():把右边的空格去掉
4.replace(‘c1’,’c2’):把字符串里的c1替换成c2。故可以用replace(’ ‘,”)来去掉字符串里的所有空格
拼接完整url
item[‘img_url’]=”http:”+li.xpath(‘./div[1]/a/img/@src’).extract_first()
最后两个是广告解决办法如下
lis = response.xpath(“//ul[@class=’listUl’]/li”)[:-2]
去除中间广告
if response.xpath(“//ul[@class=’listUl’]/li/@class”)==’apartments-pkg apartments’:
continue