Scrapyd部署爬虫项目

1、打开命令行工具执行“pip install scrapyd”

2、安装成功启动scrapyd服务

3、浏览器输入127.0.0.1:6800即可查看

4、连接成功后在非c盘目录下新建一个文件夹，shift加右键打开命令行工具，输入scrapyd;完成后文件夹内会出现一个dbs的文件夹，用来存放爬虫项目的数据文件

5、安装scrapyd-client模块
1） 打开命令行工具执行命令“pip install scrapy-client==1.1.0”
2）在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件；
3）新建一个scrapyd-deploy.bat文件，右键选择编辑，输入以下配置，注意：两个路径之间是空格，一定要使用双引号。单引号的话会错误。
内容如下：
@echo off
“C:\Users\qianzhen\Envs\scrapySpider\Scripts\python.exe” “C:\Users\qianzhen\Envs\scrapySpider\Scripts\scrapyd-deploy” %1 %2 %3 %4 %5 %6 %7 %8 %9


6、进入虚拟环境，进入到你的一个爬虫项目中，进入带有scrapy.cfg文件的目录，执行scrapyd-deploy，测试scrapyd-deploy是否可以运行，如果出现以下则正常

7、打开爬虫项目中的scrapy.cfg文件，这个文件就是给scrapyd-deploy使用的将url这行代码解掉注释，并且给设置你的部署名称

8、再次执行scrapyd-deploy -l 启动服务，可以看到设置的名称

9、执行打包命令： scrapyd-deploy 部署名称 -p 项目名称
如：scrapyd-deploy wj -p TotalSpider
如下显示表示scrapy项目打包成功

10、执行运行命令
curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称
执行后，如果出现

则运行成功