Scrapy爬虫使用步骤:
1、创建一个工程和Spider模板
scrapy startproject BaiduStocks
cd BaiduStocks
scrapy genspider stocks baidu.com
进一步修改spiders/stocks.py文件
2、编写Spider
配置stocks.py 文件
修改对返回页面的处理
修改对新增URL爬取请求的处理
3、编写Item Pipeline
配置pipelines.py文件
定义对爬取项(Scraped Item)的处理类
4、优化配置策略