需求
- 安装scrapyd:开启一个web UI,监测爬虫运行状态。
- 安装scrapyd-client:使用
scrapyd-deploy
工具将scrapy工程部署到web UI。
项目开始
-使用scrapyd
命令开启一个web UI,在本地浏览器中输入localhost:6800
进入scrapy工程项目管理面板。
- 修改scrapy工程文件夹下的
scrapy.cfg
文件,修改[deploy]
段落下的内容。
[deploy]
url = http://localhost:6800/
username = scrapy
password = secret
project = yourproject
- 在scrapy工程文件夹下,使用
scrapyd-deploy
部署scrapy工程。 scrapyd-deploy
工具在scrapy-client
程序包目录下,同时也可以在python安装文件夹下的Scripts
文件夹中找到。解决Windows下找不到scrapyd-deploy
命令问题:在`文件夹下新建
scrapyd-deploy.bat`文件,在文件中添加以下内容:
@echo off
python python安装目录\Scripts\scrapyd-deploy %*
- 使用以下命令开启web UI中的scrapy工程
curl http://localhost:6800/schedule.json -d project=projectName -d spider=spiderName
- 使用以下命令手动终止web UI中正在运行的的scrapy工程
curl http://localhost:6800/cancel.json -d project=projectName -d job=jobId