四.ElasticSearch基础
4.1.索引库CRUD
4.1.1增加索引库
PUT shopping
{
"settings":{
"number_of_shards":5,
"number_of_replicas":1
}
}
4.1.2查询索引库
GET _cat/indices?v
查看指定索引库
GET _cat/indices/aigou
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NfNnHdbX-1581164132995)(images/1573717333201.png)]
4.1.3.删除索引库
DELETE 名字
4.1.4.修改索引库
删除再添加
4.2.文档的CRUD
4.2.1.文档概念
ES | Mysql |
---|---|
_index(索引库) | 数据库 |
_type(文档类型) | 表 |
_document(文档对象) | 一行数据 |
_id(文档ID) | 主键ID |
field(字段) | 列 |
其他
_source | (文档原始数据-就是保存在ES中的真实数据) |
---|---|
_all | (所有字段的连接字符串) |
metadata | (文档元数据-出去文档真实数据意外的其他数据) |
4.2.2.添加文档
语法
PUT 索引库/文档类型/文档id
{
文档原始数据
}
案例:
PUT crm/user/11
{
"id":11,
"username":"zs"
}
解释:添加id为11的用户 , 索引库为 crm,类型为 User
注意:如果不指定文档的id,ES会自动生成文档id
4.2.3.获取文档
a.获取指定文档
GET 索引库/类型/文档ID
b.指定返回的列
GET /itsource/employee/123?_source=fullName,email
4.2.4.修改文档
a.整体修改
PUT {index}/{type}/{id}
{
修改后的内容
}
ps: 全量修改的语法跟添加文档语法一样,如果文档已经存在就是添加,否则就是修改,
文档修改过程:1.标记删除旧文档,2.添加新文档
b.局部修改
POST itsource/employee/123/_update
{
"doc":{
"email" : "[email protected]",
"salary": 1000
}
}
ps:文档修改过程: 1.检索旧文档 , 2.修改文档 ,3.标记删除旧文档 , 4.添加新文档
4.2.5.删除文档
DELETE {index}/{type}/{id}
五.文档的查询
5.1.常用查询
5.1.1.查询所有
GET _search
5.1.2.查询指定索引库
GET crm/_search
5.1.3.查询指定类型
GET crm/user/_search
5.1.4.查询指定文档
GET crm/user/11
5.1.5.分页查询
&size=2&from=2
- size: 每页条数
- form:从多少条数据开始查
5.1.6.字符串查询
条件查询+分页+排序
GET crm/user/_search?q=age:17&size=2&from=2&sort=id:desc&_source=id,username
字符串查询(query string)其实就是在url后面以字符串的方式拼接各种查询条件,这种方式不推荐,因为条件过多,拼接起来比较麻烦
5.1.7.批量查询
批量查询很重要,对相比单个查询来说,批量查询性能更高。
a.不同索引库查询
GET _mget
{
"docs" : [
{
"_index" : "itsource",
"_type" : "blog",
"_id" : 2
},
{
"_index" : "itsource",
"_type" : "employee",
"_id" : 1,
"_source": "email,age"
}
]
}
b.同索引库同类型 - 推荐
GET itsource/blog/_mget
{
"ids" : [ "2", "1" ]
}
六.DSL查询与DSL过滤
6.1.基本概念
6.1.1.基本概念
DSL过滤语句和DSL查询语句非常相似,但是它们的使用目的却不同:DSL过滤查询文档的方式更像是对于我的条件"有"或者"没有"(等于 ;不等于),而DSL查询语句则像是"有多像"(模糊查询)。
6.1.2.查询与过滤的区别
DSL过滤和DSL查询在性能上的区别:
- 过滤结果可以缓存并应用到后续请求。-> 精确过滤后的结果拿去模糊查询性能高
- 查询语句同时匹配文档,计算相关性,所以更耗时,且不缓存。
- 过滤语句可有效地配合查询语句完成文档过滤。
总结:需要模糊查询的使用DSL查询 ,需要精确查询的使用DSL过滤,在开发中组合使用(组合查询) -> 关键字查询使用DSL查询,其他的都是用DSL过滤。
6.2.综合案例
6.2.1.语法介绍
GET crm/user/_search
{
"query": {
"bool": {
"must": [
{"match": {"description": "search" }}
],
"filter": {
"term": {"tags": "lucene"}
}
}
},
"from": 20,
"size": 10,
"_source": ["fullName", "age", "email"],
"sort": [{"join_date": "desc"},{"age": "asc"}]
}
解释:
query : 查询
bool : 组合查询 , 包含了 DSL查询和DSL过滤
must : 必须匹配 :与(must) 或(should) 非(must_not)
match:分词匹配查询,会对查询条件分词 , multi_match :多字段匹配
filter: 过滤条件
term:词元查询,不会对查询条件分词
from,size :分页
_source :查询结果中需要哪些列
sort:排序
6.2.2综合案例
组合搜索bool可以组合多个查询条件为一个查询对象,名称(name)中有 “娃娃” 的商品 ,价格(minPrice)在 10000- 20000之间,品牌id为 14,按照销量(saleCount)倒排序,查询第 1 页,每页10 条 ,查询结果中只需要 :id,name,minPrice,brandId
GET aigou/product/_search
{
"query":{
"bool": {
"must": [{
"match": {
"name": "春季"
}
}],
"filter": [
{
"range":{ //范围查询
"minPrice":{
"gte":10000,
"lte":20000
}
}
},
{
"term": { //词元查询
"brandId": 14
}
}
]
}
},
"from": 1,
"size": 10,
"_source": ["id", "name", "minPrice","brandId"],
"sort": [{
"saleCount": "desc"
}]
}
ps:其他查询方式
- term:单词/词元查询
- match : 分词查询(模糊匹配)
- multi_match :多字段匹配
- range:范围查询
- exists :存在
- missing : 不存在
- prefix:前缀匹配
- wildcard:通配符匹配 ,使用*代表0~N个,使用?代表1个。
七.文档的映射
7.1.基本概念
7.1.1.什么是文档映射
ES的文档映射(mapping)机制用于进行字段类型确认,将每个字段匹配为一种确定的数据类型。
- Mysql建表过程:创建数据库 -> 创建表(指定字段类型) -> crud数据
- ES创建索引过程:创建索引库 -> 文档类型映射 -> crud文档
- 映射与分词 : 为了方便字段的检索,我么会对某些存储在ES中的字段进行分词,但是有些字段类型可以分词,有些字段类型不可以分词,所以对于字段的类型需要我们自己去指定。
7.1.2.默认的字段类型
查看索引类型的映射配置:GET {indexName}/_mapping/{typeName}
a.基本字段类型
-
字符串
text(分词), keyword(不分词) ,StringField(不分词文本),TextFiled(要分词文本) ,text默认为全文文本,keyword默认为非全文文本
-
数字(long,integer,short,double,float)
-
日期date
-
逻辑boolean
b.复杂字段类型
- 对象类型:object
- 数组类型:array
- 地理位置:geo_point,geo_shape
c.默认映射
ES在没有配置Mapping的情况下新增文档,ES会尝试对字段类型进行猜测,并动态生成字段和类型的映射关系。
JSON type | Field type |
---|---|
Boolean: true or false | “boolean” |
Whole number: 123 | “long” |
Floating point: 123.45 | “double” |
String, valid date:“2014-09-15” | “date” |
String: “foo bar” | “string” |
7.1.3.映射规则
字段映射的常用属性配置列表 - 即给某个字段执行类的时候可以指定以下属性
属性名 | 解释 |
---|---|
type | 字段的类型:基本数据类型,integer,long,date,boolean,keyword,text… |
enable | 是否启用:默认为true。 false:不能索引、不能搜索过滤。 |
boost | 权重提升倍数:用于查询时加权计算最终的得分,比如标题中搜索到的内容比简介中搜索到的内容跟重要,那么可以提升 |
index | 索引模式:analyzed (索引并分词,text默认模式), not_analyzed (索引不分词,keyword默认模式),no(不索引) |
analyzer | 索引分词器:索引创建时使用的分词器,如ik_smart,ik_max_word,standard |
search_analyzer | 搜索分词器:搜索该字段的值时,传入的查询内容的分词器。 |
fields | 多字段索引:当对该字段需要使用多种索引模式时使用。如:城市搜索New York"city": |
"city":{
"type": "text",
"analyzer": "ik_smart",
"fields": {
"raw": {
"type": "keyword"
}
}
}
解释:相当于给 city取了一个别名 city.raw,city的类型为text , city.raw的类型为 keyword
搜索 city分词 ; 搜索city.raw 不分词那么以后搜索过滤和排序就可以使用city.raw字段名
7.2.添加映射
注意:如果索引库已经有数据了,就不能再添加映射了
7.2.1.创建新的索引库
put aigou
7.2.2.单类型创建映射
put aigou/goods/_mapping
{
"goods": {
"properties": {
"id": {
"type": "long"
},
"name": {
"type": "text",
"analyzer": "ik_smart",
"search_analyzer": "ik_smart"
}
}
}
}
解释:给aigou索引库中的是goods类型创建映射 ,id指定为long类型 , name指定为text类型(要分词),analyzer分词使用ik,查询分词器也使用ik
7.2.3.多类型创建映射
PUT aigou
{
"mappings": {
"user": {
"properties": {
"id": {
"type": "integer"
},
"info": {
"type": "text",
"analyzer": "ik_smart",
"search_analyzer": "ik_smart"
}
}
},
"dept": {
"properties": {
"id": {
"type": "integer"
},
....更多字段映射配置
}
}
}
}
解释:同时给user和dept创建文档映射
7.3.数组/对象映射
基本类型字段映射非常简单,直接配置对应的类型即可,但是数组和对象如何指定类型呢?
7.3.1.对象映射
{
"id" : 1,
"girl" : {
"name" : "王小花",
"age" : 22
}
}
文档映射
{
"properties": {
"id": {"type": "long"},
"girl": {
"properties":{
"name": {"type": "keyword"},
"age": {"type": "integer"}
}
}
}
}
7.3.2.数组映射
{
"id" : 1,
"hobby" : ["王小花","林志玲"]
}
文档映射
{
"properties": {
"id": {"type": "long"},
"hobby": {"type": "keyword"}
}
}
解释:数组的映射只需要映射一个元素即可,因为数组中的元素类型是一样的。
7.3.3.对象数组
{
"id" : 1,
"girl":[{"name":"林志玲","age":32},{"name":"赵丽颖","age":22}]
}
文档映射
"properties": {
"id": {
"type": "long"
},
"girl": {
"properties": {
"age": { "type": "long" },
"name": { "type": "text" }
}
}
}
7.4.全局映射
索引库中多个类型(表)的字段是有相同的映射,如所有的ID都可以指定为integer类型,基于这种思想,我们可以做全局映射,让所有的文档都使用全局文档映射。全局映射可以通过动态模板和默认设置两种方式实现。
7.4.1.默认方式:default
索引下所有的类型映射配置会继承_default_的配置,如:
PUT {indexName}
{
"mappings": {
"_default_": {
"_all": {
"enabled": false
}
},
"user": {},
"dept": {
"_all": {
"enabled": true
}
}
}
关闭默认的 _all ,dept自定义开启 all
7.4.2.动态模板
dynamic_templates
PUT _template/global_template //创建名为global_template的模板
{
"template": "*", //匹配所有索引库
"settings": { "number_of_shards": 1 }, //匹配到的索引库只创建1个主分片
"mappings": {
"_default_": {
"_all": {
"enabled": false //关闭所有类型的_all字段
},
"dynamic_templates": [
{
"string_as_text": {
"match_mapping_type": "string",//匹配类型string
"match": "*_text", //匹配字段名字以_text结尾
"mapping": {
"type": "text",//将类型为string的字段映射为text类型
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"fields": {
"raw": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
},
{
"string_as_keyword": {
"match_mapping_type": "string",//匹配类型string
"mapping": {
"type": "keyword"//将类型为string的字段映射为keyword类型
}
}
}
]
}
}}
PS : 映射方式优先级 (低 -> 高):默认 -> 全局 -> 自定义