一、安装scrapy框架。
1、输入workon命令,进入已经设置好的一个虚拟环境。
2、安装scrapy框架。 即pip install scrapy
3、如遇到如下报错信息,进入:https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件。
5、根据自己的python环境选择合适的版本下载。
6、然后pip install 文件路径进行安装即可。
7、如遇其他错误,百度一下你就知道。此处略。
二、项目搭建部分
1.1、创建项目
命令scrapy startproject 项目名称
1.2、进入到项目文件夹中
2.1、爬虫文件介绍
3.1执行项目
命令:scrapy crawl 爬虫名称
3.2、执行以上命令会报错
只需要安装pip install pypiwin32即可解决,然后再执行命令scrapy crawl 爬虫名称即可。
4.1、断点调试
由于scrapy默认不支持断点调试,手动配置断点调试.
在项目目录上新建一个debug文件,写入如下命令:
from scrapy.cmdline import execute
execute('scrapy crawl 项目名'.split())
然后再该文件上面右键使用debug运行即可。