什么是Mapping(映射)
映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射(Mapping)用来定义一个文档,可以定义所包含的字段以及字段的类型、分词器及属性等等。
映射可以分为动态映射和静态映射。
- 动态映射 (dynamic mapping):在关系数据库中,需要事先创建数据库,然后在该数据库实例下创建数据表,然后才能在该数据表中插入数据。而ElasticSearch中不需要事先定义映射(Mapping),文档写入ElasticSearch时,会根据文档字段自动识别类型,这种机制称之为动态映射。
- 静态映射 :在ElasticSearch中也可以事先定义好映射,包含文档的各个字段及其类型等,这种方式称之为静态映射。
//静态映射:若映射(mapping)已经创建,写入数据时,elasticsearch会根据映射和写入数据的key进行对比,然后写入相应的映射中;
//动态映射:如果mapping没有创建,elasticsearch将会根据写入的数据的key自行创建相应的mapping,并写入数据。
PUT /myindex/article/1
{
"post_date": "2018-05-10",
"title": "Java",
"content": "java is the best language",
"author_id": 119
}
//可以使用_mapping查询索引的mapping
GET /myindex/article/_mapping
//返回结果
{
"myindex": {
"mapping": {
"article": {
"properties": {
"author_id": {
"type": "long"
},
"content": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"post_date": {
"type": "date"
},
"title": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
}
//手动创建mapping
PUT /lib6
{
"settings": {
"number_of_shards": 3,
"number_of_replicas": 0
},
"mappings": {
"books": {
"properties": {
"title": {"type": "text"},
"name": {"type": "text", "ayalyzer": "standard"},
"publish_date": {"type": "date", "index": false},
"price": {"type": "double"},
"number": {"type": "integer"}
}
}
}
}
数据类型及支持属性
由上可见elasticsearch时支持数据类型的。
核心类型(Core datatype)
字符串:string,string类型包含 text 和 keyword。
- text:该类型被用来索引长文本,在创建索引前会将这些文本进行分词,转化为词的组合,建立索引;允许es来检索这些词,text类型不能用来排序和聚合。
- keyword:该类型不需要进行分词,可以被用来检索过滤、排序和聚合,keyword类型自读那只能用本身来进行检索(不可用text分词后的模糊检索)。
数指型:long、integer、short、byte、double、float
日期型:date
布尔型:boolean
二进制型:binary
PUT /myindex/article/2
{
"post_date": "2018-05-12",
"title": "html",
"content": "I like html",
"author_id": 120
}
PUT /myindex/article/3
{
"post_date": "2018-05-16",
"title": "es",
"content": "Es is distributed document store",
"author_id": 110
}
//查不出数据
GET /myindex/article/_search?q=post_date:2018
//返回结果
{
"took": 198,
"time_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 0,
"max_score": null,
"hits": []
}
}
//查出数据
GET /myindex/article/_search?q=post_date:2018-05-10
//返回结果
{
"took": 84,
"time_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 1,
"hits": [
{
"_index": "myindex",
"_type": "article",
"_id": "1",
"_score": 1,
"_source": {
"post_date": "2018-05-10",
"title": "Java",
"content": "java is the best language",
"author_id": 119
}
}
]
}
}
//查出数据
GET /myindex/article/_search?q=content:html
//返回结果
{
"took": 45,
"time_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 0.2876821,
"hits": [
{
"_index": "myindex",
"_type": "article",
"_id": "2",
"_score": 0.2876821,
"_source": {
"post_date": "2018-05-12",
"title": "html",
"content": "I like html",
"author_id": 120
}
}
]
}
}
除字符串类型以外,其他类型必须要进行精确查询,因为除字符串外其他类型不会进行分词。
复杂数据类型(Complex datatypes)
数组类型(Array datatype),数组类型不需要专门指定数组元素的type,例如:
字符型数组:[“one”,“two”]
![](/qrcode.jpg)
整型数组*:[1, 2]
数组型数组:[1, [2, 3]] 等价于 [1, 2, 3]
对象数组:[{“name”: “Mary”, “age”: 12}, {“name”: “John”, “age”: 10}]
对象类型(Object datatype):object 用于单个Json对象
//object类型
PUT /lib/person/1
{
"name": "Tom",
"age": 25,
"birthday": "1985-12-12",
"address": {
"country": "china",
"province": "hubei",
"city": "wuhan"
}
}
//底层存储格式——符合面向对象思想
{
"name": ["Tom"],
"age": [25],
"birthday": ["1985-12-12"],
"address.country": ["china"],
"address.province": ["hubei"],
"address.city": ["wuhan"]
}
嵌套类型(Nested datatype):nested 用于Json数组
{
"persons": [
{"name": "lisi", "age": 27},
{"name": "wangwu", "age": 26},
{"name": "zhangsan", "age": 23}
]
}
//底层存储
{
"persons": ["lisi", "wangwu", "zhangsan"],
"persons": [27, 26, 23]
}
地理位置类型(Geo datatypes)
地理坐标类型(Geo-point datatype):geo_point 用于经纬度坐标
地理形状类型(Geo-Shape datatype):geo_shape 用于类似于多边形的复杂形状
特定类型(Specialised datatypes)
IPv4 类型(IPv4 datatype):ip 用于IPv4 地址
Completion 类型(Completion datatype):completion 提供自动补全建议
Token count 类型(Token count datatype):token_count 用于统计做子标记的字段的index数目,该值会一直增加,不会因为过滤条件而减少
mapper-murmur3 类型:通过插件,可以通过murmur3来计算index的哈希值
附加类型(Attachment datatype):采用mapper-attachments插件,可支持attachments索引,例如 Microsoft office 格式,Open Documnet 格式, ePub,HTML等
支持属性
//是否单独设置此字段的是否存储而从_source字段中分离,默认是false,只能搜索,不能获取值
"store": false
//分词,设置false,字段将不会被索引(即不创建倒排索引)
"index": true
//指定分词器,默认分词器为standard analyzer
"analyzer": "ik"
//字段级别的分数加权,默认值是1.0
"boost": 1.23
//对not_analyzed字段,默认都是开启,分词字段不能使用,对排序和聚合能提升较大性能,节约内存
"doc_value": false
//针对分词字段,参与排序或聚合时能提高性能,不分词字段统一建议使用doc_value
"fielddata": {"format": "disabled"}
//可以对一个字段提供多种索引模式,同一个字段的值,一个分词,一个不分词
"fields": {"raw": {"type": "string", "index": "not_analyzed"}}
//超过100个字符的文本,将会被忽略,不被索引
"ignore_above": 100
//设置是否此字段包含在_all字段中,默认时true,除非index设置成no
"include_in_all": true
//4个可选参数docs(索引文档号),freqs(文档号+词频),positions(文档号+词频+位置,通常用来距离查询),offsets(文档号+词频+位置+偏移量,通常被使用在高亮字段)分词字段默认时positions,其他默认时docs
"index_options": "docs"
//分词字段默认配置,不分词字段:默认{"enable": false},存储长度因子和索引时boost,建议对需要参加评分字段使用,会额外增加内存消耗
"norms": {"enable": true, "loading": "lazy"}
//设置一些缺失字段的初始化,只有string可以使用,分词字段的null值也会被分词
"null_value": "NULL"
//影响距离查询或近似查询,可以设置在多值字段的数据上或分词字段上,查询时可以指定slop间隔,默认值时100
"position_increament_gap": 0
//设置搜索时的分词器,默认跟analyzer是一致的,比如index时用standard+ngram,搜索时用standard用来完成自动提示功能
"search_analyzer": "ik"
//默认时TF/IDF算法,指定一个字段评分策略,仅仅对字符串型和分词类型有效
"similarity": "BM25"
//默认不存储向量信息,支持参数yes(term存储),with_positions(term+位置),with_offsets(term+偏移量),with_positions_offsets(term+位置+偏移量)对快速高亮fast vector highlighter能提升性能,但开启又会加大索引体积,不适合大数据量用
"trem_vector": "no"