scrapy-redis执行报错Unhandled error in Deferred

我这里的原因是,设置里选择了队列形式,改成默认即可:

# 默认的scrapy-redis请求队列形式
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# 队列形式,先进先出,选这个会报错:Unhandled error in Deferred
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
# 栈形式,先进后出
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

猜你喜欢

转载自blog.csdn.net/z564359805/article/details/80803730
今日推荐