一、Scrapyd简介
scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行。
scrapyd可以管理多个项目，并且每个项目允许有多个版本，但是只有最新的版本会被用来运行爬虫。
最方便的版本管理就是利用VCS工具来记录你的爬虫代码，版本比较不是简单的通过字母排序，而是通过智能的算法，和distutils一样，例如: r10比r９更大。
scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们。
二、Scrapyd安装
2-1、环境准备（很重要）
装有Scrapy的Linux电脑（运行爬虫程序使用），用于安装scrapyd服务。具体参考之前的文章：Scrapy生产环境（CentOS7）搭建
装有Scrapy的Win电脑（开发爬虫程序使用），用于安装scrapyd-client。具体参考之前的文章：Scrapy开发环境（Win10）搭建
2-2、Linux安装scrapyd服务
执行以下命令安装
pip install scrapyd
只要步骤2-1、中Linux的环境准备好，步骤2-2、的安装很简单。
2-3、Windows安装scrapyd-client
win键+r，输入cmd，然后在命令行输入命令执行
pip install scrapyd-client
出现successfully installed scrapyd-client……说明安装成功。只要步骤2-1、中Windows的环境准备好，步骤2-3、的安装很简单。
三、scrapyd-client连接scrapyd服务
scrapyd服务要支持其他IP访问需要修改scrapyd配置文件：default_scrapyd.conf。
一般都在
/usr/lib/python2.7/site-packages/scrapyd/default_scrapyd.conf
如果没有使用find命令查找文件。
find / -name "default_scrapyd.conf"
找到后修改文件
vim /usr/lib/python2.7/site-packages/scrapyd/default_scrapyd.conf
修改bind_address = 0.0.0.0
修改完毕重启scrapyd服务。
scrapyd
浏览器输入：http://docker200:6800/（docker200是我设置的主机名和IP映射，可以直接使用scrapyd服务的IP地址）出现以下页面代表连接成功。
如果不成功，关闭防火墙。
systemctl stop firewalld.service
或者单独放行6800端口。
firewall-cmd --zone=public --add-port=6800/tcp --permanent
四、使用scrapyd-client部署爬虫
4-1、错误一：scrapyd-deploy无法执行，不是内部或外部命令。
当我们在命令行中输入scrapyd-deploy时报错：scrapyd-deploy无法执行，不是内部或外部命令。
解决方案：
步骤1、我们需要新建一个文件，命名为：scrapyd-deploy.txt，里面写上如下几行代码：
@echo off
"E:\Development\Servers\Anaconda\Anaconda3\python.exe" "E:\Development\Servers\Anaconda\Anaconda3\Scripts\scrapyd-deploy" %*
这个目录："E:\Development\Servers\Anaconda\Anaconda3\python.exe" 的话需要根据实际安装情况，例如我的安装目录如下图所示：
步骤二、将scrapyd-deploy.txt重命名为scrapyd-deploy.bat放入到以下目录（参考以上图片我的安装目录）：
E:\Development\Servers\Anaconda\Anaconda3\Scripts\
步骤三、在命令行中输入以下命令测试：
scrapyd-deploy
出现以下画面代表问题解决
