去setting中设置ROBOTSTXT_OBEY为false。
Scrapy默认遵守robots协议，所以针对某些网站，设置了robots.txt的规则，不允许爬取其中某些资源，则Scrapy就不会去爬取。
通过去setting中设置ROBOTSTXT_OBEY为false：ROBOTSTXT_OBEY = False 即可不遵守协议，而去爬取对应页面内容了。
Scrapy学习笔记-解决Forbidden by robots.txt错误
猜你喜欢
转载自blog.csdn.net/asmartkiller/article/details/105715812
今日推荐
周排行