scrapy各部分之间的数据流向是如何交互的,详细描述一下


1>引擎将起始url构造成Request交给调度器;

2>调度器对Request对象生成指纹信息,根据是否去重来决定是否将Request放入队列中;

3>引擎从调度器得队列中不断得获取下一个Request请求;

4>引擎将Reques请求交给下载器Downloader进行下载,期间会经过下载器中间件process_request得处理;

5>下载器下载完成以后,经过process_responseResponse对象返回给引擎;

6>引擎将Response对象交给爬虫Spider进行解析,提取数据,期间经过爬虫中间件;

7>爬虫Spider将提取得结果传递给引擎,引擎将item交给管道,将Request对象交给调度器继续调度;

猜你喜欢

转载自blog.csdn.net/weixin_42336553/article/details/81037702