八、elasticsearch搭建搜索引擎
elasticsearch介绍:一个基于lucene的搜索服务器,分布式多用户的全文搜索引擎java开发的 基于restful web接口。
自己搭建的网站或者程序,添加搜索功能比较困难。所以我们希望搜索解决方案要高效零配置并且免费。
elasticsearch能够简单的通过json和http与搜索引擎交互,支持分布式,可将一台服务器扩展到多台服务器
内部功能:
分词 搜索结果打分 解析搜索要求
全文搜索引擎:solr sphinx
很多大公司都用elasticsearch 戴尔 Facebook 微软等等
elasticsearch对Lucene进行了封装,既能存储数据,又能分析数据,适合与做搜索引擎
关系数据搜索缺点:
无法对搜素结果进行打分排序
没有分布式,搜索麻烦,对程序员的要求比较高
无法解析搜索请求,对搜索的内容无法进行解析,如分词等
数据多了,效率低
需要分词,把关系,数据,重点分出来nosql数据库:
文档数据库 json代码,在关系数据库中数据存储,需要存到多个表,内部有多对多等关系之类的,需要涉及到多个表才能将json里面的内容存下来,nosql直接将一个json的内容存起来,作为一个文档存档到数据库。
mongodb:
1. elasticsearch安装与配置
- java sdk安装
- elasticsearch安装官网下载 不使用官网的版本,提供原始的插件不多
- elasticsearc-rtf github搜索,中文发行版,已经安装了很多插件 https://github.com/medcl/elasticsearch-rtf
- 运行elasticsearch的方法,在bin文件目录下进入命令行,执行elasticsearch.bat
5.配置文件:elasticsearch-rtfelasticsearch-rtf-masterconfigelasticsearch.yml
2. elasticsearch两个重要插件:head和kibana的安装
head插件相当于Navicat,用于管理数据库,基于浏览器
https://github.com/mobz/elasticsearch-head
1 |
Running with built in server |
配置elasticsearch与heade互通
kibana.bat
2. elasticsearch基础概念
- 集群:一个或多个节点组织在一起
- 节点:一个集群中的一台服务器
- 分片:索引划分为多份的能力,允许水平分割,扩展容量,多个分片响应请求
- 副本:分片的一份或多分,一个节点失败,其他节点顶上
|index | 数据库|
|type | 表|
|document | 行|
|fields | 列|
集合搜索和保存:增加了五种方法:
OPTIONS & PUT & DELETE & TRACE & CONNECT
3. 倒排索引:
倒排索引待解决的问题:
4. elasticsearch命令
PUT lagou/job/1
1为idPUT lagou/job/
不指明id自动生成uuid。修改部分字段
POST lagou/job/1/_update
DELETE lagou/job/1
elasticserach批量操作:
查询index为testdb下的job1表的id为1和job2表的id为2的数据
1 |
GET _mget |
index已经指定了,所有在doc中就不用指定了
1 |
GET testdb/_mget{ |
连type都一样,只是id不一样
1 |
GET testdb/job1/_megt |
或者继续简写
1 |
GET testdb/job1/_megt |
elasticsearch的bulk批量操作:可以合并多个操作,比如index,delete,update,create等等,包括从一个索引到另一个索引:
- action_and_meta_datan
- option_sourcen
- action_and_meta_datan
- option_sourcen
- ….
- action_and_meta_datan
- option_sourcen
每个操作都是由两行构成,除了delete除外,由元信息行和数据行组成
注意数据不能美化,即只能是两行的形式,而不能是经过解析的标准的json排列形式,否则会报错
1 |
POST _bulk |
elasticserach的mapping映射
elasticserach的mapping映射:创建索引时,可以预先定义字段的类型以及相关属性,每个字段定义一种类型,属性比mysql里面丰富,前面没有传入,因为elasticsearch会根据json源数据来猜测是什么基础类型。M挨批评就是我们自己定义的字段的数据类型,同时告诉elasticsearch如何索引数据以及是否可以被搜索。
作用:会让索引建立的更加细致和完善,对于大多数是不需要我们自己定义
相关属性的配置
- String类型: 两种text keyword。text会对内部的内容进行分析,索引,进行倒排索引等,为设置为keyword则会当成字符串,不会被分析,只能完全匹配才能找到String。 在es5已经被废弃了
- 日期类型:date 以及datetime等
- 数据类型:integer long double等等
- bool类型
- binary类型
- 复杂类型:object nested
- geo类型:geo-point地理位置
- 专业类型:ip competition
- object :json里面内置的还有下层{}的对象
- nested:数组形式的数据
elasticserach查询:
大概分为三类:
- 基本查询:
- 组合查询:
- 过滤:查询同时,通过filter条件在不影响打分的情况下筛选数据
match查询:
后面为关键词,关于python的都会提取出来,match查询会对内容进行分词,并且会自动对传入的关键词进行大小写转换,内置ik分词器会进行切分,如python网站,只要搜到存在的任何一部分,都会返回
GET lagou/job/_search
1 |
{ |
term查询
区别,对传入的值不会做任何处理,就像keyword,只能查包含整个传入的内容的,一部分也不行,只能完全匹配
terms查询
title里传入多个值,只要有一个匹配,就会返回结果
控制查询的返回数量
1 |
GET lagou/_serach |
通过这里就可以完成分页处理洛,从第一条开始查询两条
match_all 返回所有
1 |
GET lagou/_search |
python系统,将其分词,分为词条,满足词条里面的所有词才会返回结果,slop参数说明两个词条之间的最小距离
multi_match查询
比如可以指定多个字段,比如查询title和desc这两个字段包含python的关键词文档
1 |
GET lagou/_search |
query为要查询的关键词 fileds在哪些字段里查询关键词,只要其中某个字段中出现了都返回
^3的意思为设置权重,在title中找到的权值为在desc字段中找到的权值的三倍
指定返回字段
1 |
GET lagou/_search{ |
通过sort把结果排序
1 |
GET lagou/_search |
sort是一个数组,里面是一个字典,key就是要sort的字段,asc desc是升序降序的意思
查询范围 range查询
1 |
GET lagou/_search |
range是在query里面的,boost是权重,gte lte是大于等于 小于等于的意思
对时间的范围查询,则是以字符串的形式传入
wildcard模糊查询,可以使用通配符*
组合查询:bool查询
bool查询包括了must should must_not filter来完成
格式如下:
1 |
bool:{ |
5. 把爬取的数据保存至elasticsearch
1 |
class (object): |
elasticsearch-dsl-py
High level Python client for Elasticsearch
pip install elasticsearch-dsl
items.py 中将数据保存至es
1 |
def save_to_es(self): |
6. elasticsearch结合django搭建搜索引擎
获取elasticsearch的查询接口
1 |
body={ |
使django与其交互。
原文:大专栏 Scrapy分布式爬虫打造搜索引擎- (八)elasticsearch结合django搭建搜索引擎