gerapy+scrapyd组合管理分布式爬虫

Scrapyd是一款用于管理scrapy爬虫的部署和运行的服务,提供了HTTP JSON形式的API来完成爬虫调度涉及的各项指令。Scrapyd是一款开源软件,代码托管于Github上。

点击此链接https://scrapyd.readthedocs.io/en/stable/阅读官方文档本文简单地介绍一下在window上安装和运行Scrapyd的各个步骤


猜你喜欢

转载自www.cnblogs.com/sxqjava/p/10037731.html