1)使用Scrapy,什么叫做Scrapy
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
2)安装的Scrapy
$ : sudo pip3 install scrapy
3)确定要爬去网站
如:http://bolg.jobbole.com/
步骤为:
(1)在/home/下新建文件夹
如:testspider
(2)使用命令进入文件夹
cd ~/testspider
扫描二维码关注公众号,回复:
5630250 查看本文章
(3)