1、json文件数据存入elasticsearch
- json文件是从网上爬下来的数据
- scrapy 保存的json格式数据默认Unicode格式编码,转utf-8 格式需要在settings里面加入一条:
FEED_EXPORT_ENCODING='utf-8'
2、 将scrapy爬虫数据直接存入elasticsearch
- settings.py里面设置elasticsearch host
pipelines.py添加代码:
需要注意在settings.py开启 ITEM_PIPELINES选项