scrapy深入认识程序的debug信息
其他
2020-04-07 10:27:48
阅读次数: 0
常见的debug信息
- [scrapy.utils.log] INFO: Overridden settings: 自己设置的settings信息
- [scrapy.middleware] INFO: Enable extensions :启动的扩展插件
- [scrapy.middleware] INFO: Enable downloader middlewares: 启动的下载中间件
- [scrapy.middleware] INFO: Enable spider middlewares: 启动的爬虫中间件
- [scrapy.middleware] INFO: Enable item pipeline: 启动的管道
- [scrapy.extensions.talent] DEBUG: 爬虫运行时能够使用talent命令对爬虫的一些控制，比如暂停等
- [scrapy.statscollectors] INFO: Dumping Scrapy status 爬虫结束时的一些统计信息，比如请求响应数量等
- [scrapy.core.scraper] DEBUG: Scrapy from <200 http://wz.sun0769.con/html/question/201707/340346.shtml>{‘content’:…}: 每次yield item的时候提示item的内容及这个item的url地址
发布了54 篇原创文章 ·
获赞 24 ·
访问量 3万+
转载自blog.csdn.net/weixin_43388615/article/details/105102665
