1.爬虫是否遵守 robots 协议:默认是遵守的;不遵守把第二行注释删掉即可
# Obey robots.txt rules
# ROBOTSTXT_OBEY = False
2.爬虫是否让浏览器识别我们的 cookie:默认是识别;不想让浏览器识别,是一种反反爬策略,第二行注释删掉即可
# Disable cookies (enabled by default)
# COOKIES_ENABLED = False
3.实体管道 piplines.py ,是处理数据的,比如写入文件,数据库存储等;默认是关闭的,要启动删掉注释即可
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
# 'taobao_kou_hong.pipelines.TaobaoKouHongPipeline': 300,
#}