1 记录基本响应代码
name = 'myblob' allowed_domains = ['blog.csdn.net'] start_urls = ['https://blog.csdn.net/gdengden/article/details/80293229'] def parse(self, response): fname='a1.txt' x=response.encoding # 得到响应体编码 mbody=response.body # print(type(mbody),mbody) # 字符串转码 s=str(mbody,encoding=x) # 注意中转码问题,报错UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 问题解决办法之一 # open(fname,'w',encoding='utf-8').write(s).close() # xpath # response 对象以 .selector 属性提供了一个 selector,xpath返回符合xpath规则的列表 # Selector 的实例时对选择某些内容响应的封装。 # response 是 HTMLResponse 或 XMLResponse 的一个对象,将被用来选择和提取数据。 # text 是在 response 不可用时的一个 unicode 字符串或 utf-8 编码的文字。将 text 和 response 一起使用时未定义行为。 # extract() # 串行化并将匹配到的节点返回一个 unicode 字符串列表。 # mtitle=response.selector.xpath('//div[@class="article-title-box"]/h6/text()').extract() # print(mtitle[0]) # 获取超链接中带有image字样的链接 列表集合 # mpaths=response.xpath('//a[contains(@href, "image")]/@href').extract() # mpaths=response.css('a[href*=image]::attr(href)').extract() #获取超链接中包含的img元素的集合 # mpaths=response.xpath('//a[contains(@href, "image")]/img/@src').extract() # Selector 也有一个 .re() 方法,用来通过正则表达式来提取数据。然而,不同于使用 .xpath() 或者 .css() 方法,.re() 方法返回 Unicode 字符串的列表。所以无法构造嵌套式的 .re() 调用 # re(regex) # 应用给定的 # regex,并返回匹配到的 # unicode # 字符串列表。 # regex可以是一个已编译的正则表达式,也可以是一个将被 # re.compile(regex) # 编译为正则表达式的字符串。 mpaths=response.xpath('//a[contains(@href, "image")]/text()').re(r'Name:\s*(.*)') print(mpaths) # css(query) # 应用给定的 CSS 选择器,返回 SelectorList 的一个实例。 # query是一个包含 CSS 选择器的字符串。计算机视觉牛人博客和代码汇总(全)</h6> </div> 2 将响应数据封装到对象并生化对象 A: 修改生成的items.py文件 import scrapy class MynetItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pname=scrapy.Field() pimg=scrapy.Field() B: 修改自定义类 MyblobSpider import scrapy from mynet.items import MynetItem class MyblobSpider(scrapy.Spider): name = 'myblob' allowed_domains = ['blog.csdn.net'] start_urls = ['https://blog.csdn.net/gdengden/article/details/80293229'] def parse(self, response): fname='a1.txt' x=response.encoding # 得到响应体编码 mbody=response.body # print(type(mbody),mbody) # 字符串转码 s=str(mbody,encoding=x) # 得到图片路径 imgs=response.xpath('//div[contains(@class,"profile-intro")]//div[contains(@class,"avatar-box")]//img//@src').extract() imgpath=imgs[0] pname=response.xpath('//div[contains(@class,"user-info")]//p[contains(@class,"csdn-tracking-statistics")]/a/text()').extract() print(f'pname:{pname[0]}') # 封装对象 it=MynetItem() it['pname']=pname[0] it['pimg']=imgpath return it C: 修改运行代码文件 from scrapy import cmdline cmdline.execute('scrapy crawl myblob -o personinfo.json'.split())