Python elasticsearch 导入json文件数据 + 将scrapy爬虫数据直接存入elasticsearch

1、json文件数据存入elasticsearch

  • json文件是从网上爬下来的数据

这里写图片描述

  • scrapy 保存的json格式数据默认Unicode格式编码,转utf-8 格式需要在settings里面加入一条:
FEED_EXPORT_ENCODING='utf-8'

2、 将scrapy爬虫数据直接存入elasticsearch

  • settings.py里面设置elasticsearch host
  • pipelines.py添加代码:
    这里写图片描述

  • 需要注意在settings.py开启 ITEM_PIPELINES选项

猜你喜欢

转载自blog.csdn.net/yiyiholic/article/details/82706235