scrapy爬虫编写流程
基于《精通scrapy网络爬虫-刘硕》第8章中的案例
1 项目步骤
- 创建名为books的项目、爬虫
- 打开
Items.py
:先定义封装书籍信息的Item类 打开
Spider.py
:编写爬虫① 指定url
② 编写页面解析代码- 打开
pipelines.py
:对数据进行处理 - 打开
setting.py
:启用pipelines,对csv的head进行排序
2对CSV的head排序
- 打开配置文件
setting.py
- 使用FEED_EXPORT_FIELDS指定各列的次序
FEED_EXPORT_FIELDS = ['name', 'price', 'stock']