settings.py(需要在settings中配置如下内容)
ITEM_PIPELINES = {
# 启用scrapy自带的图片下载ImagesPipeline
'scrapy.contrib.pipeline.images.ImagesPipeline': None,
# 如果需要采用自定义的ImagesPipiline,需要将自带的ImagesPipelin设置为None
'chinazSpider.pipelines.ImagesPipiline': 1,
}
# 配置图片的保存目录
IMAGES_STORE = 'images'
# 在ImagesPipeline进行下载图片时,配置图片对应的Item字段
IMAGES_URLS_FIELD = 'img_url'
pilelines.py
from scrapy.pipelines.images import ImagesPipeline
from scrapy.http import Request
class ImagesPipiline(ImagesPipeline):
def get_media_requests(self, item, info):
# 从item中获取要下载的图片的url,根据url构造Request()对象,并返回该对象
image_url = item['img_url']
yield Request(image_url, meta={'item': item})
def file_path(self, request, response=None, info=None):
# 用来自定义图片的下载路径
item = request.meta['item']
# 每个分类的名称
category = item['sort_name'][:-2]
# 图片的文件名
img_name = item['img_url'].split('/')[-1]
# 通过分类名和图片的文件名,拼接图片的相对路径
path = category + '/' + img_name
return path
def item_completed(self, results, item, info):
# 图片下载完成后,返回结果result
print(results)
return item