scrapy:强大的爬虫框架
scrapyd:通过命令启动、终止操作爬虫
scrapydweb:页面可视化调度爬虫
scrapydAPI:集成api接口调度爬虫,可上github的scrapyd-api项目,和后端框架配合使用