python爬虫 Scrapy使用步骤 DAY7

Scrapy爬虫使用步骤:

1、创建一个工程和Spider模板

scrapy startproject BaiduStocks
cd BaiduStocks
scrapy genspider stocks baidu.com

进一步修改spiders/stocks.py文件

2、编写Spider

配置stocks.py 文件

修改对返回页面的处理

修改对新增URL爬取请求的处理

3、编写Item Pipeline

配置pipelines.py文件

定义对爬取项(Scraped Item)的处理类

4、优化配置策略

猜你喜欢

转载自blog.csdn.net/u011451186/article/details/81414064