这是我参与11月更文挑战的第15天,活动详情查看:2021最后一次更文挑战」。
Scrapy 框架-CrawlSpider
1. CrawlSpiders
原理图
sequenceDiagram
start_urls ->>调度器: 初始化url
调度器->>下载器: request
下载器->>rules: response
rules->>数据提取: response
rules->>调度器: 新的url
复制代码
通过下面的命令可以快速创建 CrawlSpider模板 的代码
scrapy genspider -t crawl 文件名 (allowed_url)
复制代码
首先在说下Spider,它是所有爬虫的基类,而CrawSpiders就是Spider的派生类。对于设计原则是只爬取start_url列表中的网页,而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合
2. Rule对象
Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中
class scrapy.contrib.spiders.Rule (
link_extractor, callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None )
复制代码
参数含义:
-
link_extractor为LinkExtractor,用于定义需要提取的链接
-
callback参数:当link_extractor获取到链接时参数所指定的值作为回调函数
- callback参数使用注意:
当编写爬虫规则时,请避免使用parse作为回调函数。于CrawlSpider使用parse方法来实现其逻辑,如果您覆盖了parse方法,crawlspider将会运行失败
-
follow:指定了根据该规则从response提取的链接是否需要跟进。当callback为None,默认值为True
-
process_links:主要用来过滤由link_extractor获取到的链接
-
process_request:主要用来过滤在rule中提取到的request
3.LinkExtractors
3.1 概念
顾名思义,链接提取器
3.2 作用
response对象中获取链接,并且该链接会被接下来爬取 每个LinkExtractor有唯一的公共方法是 extract_links(),它接收一个 Response 对象,并返回一个 scrapy.link.Link 对象
3.3 使用
class scrapy.linkextractors.LinkExtractor(
allow = (),
deny = (),
allow_domains = (),
deny_domains = (),
deny_extensions = None,
restrict_xpaths = (),
tags = ('a','area'),
attrs = ('href'),
canonicalize = True,
unique = True,
process_value = None
)
复制代码
主要参数:
-
allow:满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。
-
deny:与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
-
allow_domains:会被提取的链接的domains。
-
deny_domains:一定不会被提取链接的domains。
-
restrict_xpaths:使用xpath表达式,和allow共同作用过滤链接(只选到节点,不选到属性)
-
restrict_css:使用css表达式,和allow共同作用过滤链接(只选到节点,不选到属性)
3.3.1 查看效果(shell中验证)
首先运行
scrapy shell http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml
复制代码
继续import相关模块:
from scrapy.linkextractors import LinkExtractor
复制代码
提取当前网页中获得的链接
link = LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')
复制代码
调用LinkExtractor实例的extract_links()方法查询匹配结果
link.extract_links(response)
复制代码
3.3.2 查看效果 CrawlSpider版本
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from xiaoshuo.items import XiaoshuoItem
class XiaoshuoSpiderSpider(CrawlSpider):
name = 'xiaoshuo_spider'
allowed_domains = ['fhxiaoshuo.com']
start_urls = ['http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml']
rules = [
Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
def parse_item(self, response):
info = response.xpath("//div[@id='TXT']/text()").extract()
it = XiaoshuoItem()
it['info'] = info
yield it
复制代码
注意:
rules = [
Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
复制代码
- callback后面函数名用引号引起
- 函数名不能是parse
- 格式问题
图片管道使用
1. 介绍
Scrapy提供了一个 item pipeline ,来下载属于某个特定项目的图片,比如,当你抓取产品时,也想把它们的图片下载到本地。
这条管道,被称作图片管道,在 ImagesPipeline
类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:
- 将所有下载的图片转换成通用的格式(JPG)和模式(RGB)
- 避免重新下载最近已经下载过的图片
- 缩略图生成
- 检测图像的宽/高,确保它们满足最小限制
这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片
2. 使用图片管道
当使用 ImagesPipeline ,典型的工作流程如下所示:
- 在一个爬虫里,你抓取一个项目,把其中图片的URL放入 image_urls 组内
- 项目从爬虫内返回,进入项目管道
- 当项目进入 ImagesPipeline,image_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成图片的下载(或者由于某些原因未完成下载)。
- 当图片下载完,另一个组(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载图片的信息,比如下载路径、源抓取地址(从 image_urls 组获得)和图片的校验码。 images 列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在 images 组中
3. 具体流程(此处以zol网站为例)
- 定义item
import scrapy
class ImagedownloadItem(scrapy.Item):
# define the fields for your item here like:
img_name = scrapy.Field()
img_urls =scrapy.Field()
复制代码
- 编写spider
思路:获取文件地址-->获取图片名称-->推送地址
此处是一张一张的推送
class ZolSpiderSpider(scrapy.Spider):
name = 'zol'
allowed_domains = ['zol.com.cn']
url ='http://desk.zol.com.cn'
start_urls = [url+'/bizhi/7106_88025_2.html']
def parse(self, response):
image_url = response.xpath('//img[@id="bigImg"]/@src').extract_first()
image_name = response.xpath('//h3')[0].xpath('string(.)').extract_first().strip().replace('\r\n\t\t', '')
next_image = response.xpath('//a[@id="pageNext"]/@href').extract_first()
item = ImagedownloadItem()
item["img_name"] = image_name
item["img_urls"] = image_url
yield item
yield scrapy.Request(self.url+next_image,callback=self.parse,)
复制代码
- 编写pipline
以下如果不想改文件名,meta属性可以忽略不写
def get_media_requests(self, item, info):
'''
#如果item[urls]里里面是列表,用下面
urls= item['urls']
for url in urls:
yield scrapy.Request(url,meta={"item",item})
'''
# 如果item[urls]里里面是一个图片地址,用这下面的
yield scrapy.Request(item['img_urls'], meta={"item": item})
复制代码
因为scrapy里是使用它们URL的 SHA1 hash 作为文件名,所以如果想重命名:
def file_path(self, request, response=None, info=None):
item = request.meta["item"]
#去掉文件里的/,避免创建图片文件时出错
filename = item["img_name"].replace("/","-")+".jpg"
return filename
复制代码
- 定义图片保存在哪?
在settings中增加一句
IMAGES_STORE = "e:/pics"
复制代码