在一个框架里面有多个爬虫时,每个爬虫的需求不相同,例如,延时的时间,所以可以在这里配置一下custom_settings = {},大括号里面写需要修改的配置,然后就能把settings里面的配置给覆盖了
例如:
custom_settings = { "ITEM_PIPELINES": { 'taskspider.pipelines.CommonPipeline': 300, } } custom_settings = { 'DOWNLOAD_DELAY': 1.25 }
在一个框架里面有多个爬虫时,每个爬虫的需求不相同,例如,延时的时间,所以可以在这里配置一下custom_settings = {},大括号里面写需要修改的配置,然后就能把settings里面的配置给覆盖了
例如:
custom_settings = { "ITEM_PIPELINES": { 'taskspider.pipelines.CommonPipeline': 300, } } custom_settings = { 'DOWNLOAD_DELAY': 1.25 }