1>引擎将起始url构造成Request交给调度器;
2>调度器对Request对象生成指纹信息,根据是否去重来决定是否将Request放入队列中;
3>引擎从调度器得队列中不断得获取下一个Request请求;
4>引擎将Reques请求交给下载器Downloader进行下载,期间会经过下载器中间件process_request得处理;
5>下载器下载完成以后,经过process_response将Response对象返回给引擎;
6>引擎将Response对象交给爬虫Spider进行解析,提取数据,期间经过爬虫中间件;
7>爬虫Spider将提取得结果传递给引擎,引擎将item交给管道,将Request对象交给调度器继续调度;