05.Elasticsearch应用（五）

Elasticsearch应用（五）

1.Mapping介绍

Mapping是对索引库中文档的约束，类似于数据表结构，作用如下：

  • 定义索引中的字段的名称
  • 定义字段的数据类型，例如字符串，数字，布尔等
  • 字段，倒排索引的相关配置（Analyzer）

2.映射类型

动态映射

介绍

在关系型数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段，类型，长度，主键等，最后才能基于表插入数据。而Elasticsearch中不需要定义Mapping映射，在文档写入Elasticsearch时，会根据文档自动识别类型，这种机制称之为动态映射

缺点

动态映射（Dynamic Mapping）的机制，使得我们无需手动定义Mappings，Elasticsearch会自动根据文档信息，推算出字段的类型。但是有时候会推算的不对，例如地理位置信息。当类型如果设置不对时，会导致一些功能无法正常运行，例如Range查询

自动识别的类型

在这里插入图片描述

静态映射

静态映射是在Elasticsearch中也可以实现定义好映射，包含文档的各字段类型，分词器等，这种方式称之为静态映射

3.常见的字段类型

核心类型具体类型说明
字符串类型text可分词的文本
不分词的字符串keyword精确值，例如：品牌，国家，IP地址等 不能被分词
整数类型long，integer，short，byte在ES中id应该是个字符串keyword而不是数值类型
浮点类型double，float，half_float，scaled_float
日期类型date，date_nanos
布尔类型boolean
数组类型array数组类型不存在，里面是什么就是很么类型
对象类型object
地理位置类型geo_point，geo_shape
补全类型completion自动补全功能所需要的类型
二进制类型binary
范围类型integer_range，float_range，long_range，double_range，date_range，ip_range
JSON对象数组nested

4.常见的Mapping属性

属性含义
type字段数据类型
index是否创建索引，默认为true
analyzer使用那种分词器
properties该字段的子字段
copy_to字段拷贝，可以将当前字段拷贝到指定字段
store是否单独存储。如果设置为true，则该字段能够单独查询
boost控制算分
coerce
doc_values
dynamic动态映射设置
eager_global_ordinals
enabled
fielddata
fields
format
ignore_above
ignore_malformed
index_options控制倒排索引记录的内容
index_phrases
index_prefixes
meta
normalizer
norms
null_value对NULL值进行搜索
position_increment_gap
search_analyzer
similarity
term_vector

5.能否后期更改Mapping的字段类型

两种情况

  1. 新增字段
  2. 对已有字段修改（有数据写入后）

新增字段

  1. dynamic设为true时，一旦有新增字段的文档写入，Mapping也同时被更新
  2. dynamic设为false，Mapping不会被更新，新增字段的数据无法被索引，但是信息会出现在_source中
  3. dynamic设置成strict（严格控制策略），文档写入失败，抛出异常

对已有字段修改（有数据写入后）

  1. Lucene实现的倒排索引，—旦生成后，就不允许修改
  2. 如果希望改变字段类型，必须Reindex APl，重建索引

原因

  1. 如果修改了字段的数据类型，会导致已被索引的数据无法被搜索
  2. 但是如果是增加新的字段，就不会有这样的影响

总结

在这里插入图片描述

6.对已有字段的mapping修改

步骤

  1. 如果要推倒现有的映射, 你得重新建立一个静态索引
  2. 然后把之前索引里的数据导入到新的索引里
  3. 删除原创建的索引
  4. 为新索引起个别名, 为原索引名

索引数据迁移API

POST _reindex
{
	"source":{
		"index":"user"
	},
	"dest":{
		"index":"user2"
	}
}

使用别名兼容原有的索引

PUT /user/_alias/user

7.Dynamic Template

需求

我们可以使用动态模板来告诉es，一些字段需要动态映射成相关类型，例如根据类型来判断，或者只要是根据字段名称包含ip的，动态的给一个IP的类型，而这种思路就是es提供的动态模板，Dynamic templates

介绍

动态模板是针对某个具体的索引来设定的，即在创建某个具体的索引时指定

适用场景

  • 根据ES自动识别字段类型的这个特性，去设置一些特殊字段的名称为某些特定的类型
  • 设置所有字符串类型的字段都为 keyword
  • is 开头的字符串都设置成为 boolean 类型

三种规则

  • match_mapping_type
  • match and unmatch
  • path and path_unmatch

match_mapping_type

根据文档字段的类型进行动态映射。在这种方式下，会对JSON的数据类型进行动态定义es的数据类型。从前面，我们值JSON的数据是没有类型之分，所以es会动态根据数据本身的类型来进行映射

PUT es-learn-000002
{
  "mappings": {
    "dynamic_templates": [
      {
        "integers": {
          "match_mapping_type": "long",
          "mapping": {
            "type": "integer"
          }
        }
      }
    ]
  }
}

match and unmatch

根据名称的规则，来定义一些特定的动态映射，这便是动态模板的第二种方式match and unmatch。在这种方式下，字段名称的匹配支持正则表达式。match表示当字段名称符合的规则时应用，unmatch表示当字段符合规则时不应用这个动态映射

PUT es-learn-000003
{
  "mappings": {
    "dynamic_templates": [
      {
        "email_keyword": {
          "match":   "*_email",
          "mapping": {
            "type": "keyword"
          }
        }
      },
      {
        "ip_rule": {
          "match":   "*_ip",
          "unmatch": "long_*",
          "mapping": {
            "type": "ip"
          }
        }
      }
    ]
  }
}

注意

当我们插入嵌套的JSON的时候，动态映射的规则是应用在嵌套JSON里的对象

path_match and path_unmatch

我们知道JSON可以保存复杂的嵌套关系，那么如果我们想依据嵌套关系制定相关的动态映射的规则，该怎么处理呢？path_match和path_unmatch的用法同match和unmatch的用法相似，使用正则表达式来进行匹配。只是match匹配的是字段的值，而path_match匹配的是JSON的嵌套关系

以下这段代码想实现的效果是，name下的嵌套对象，并且不是middle名字的类型都为keyword

PUT es-learn-000005
{
  "mappings": {
    "dynamic_templates": [
      {
        "middle_name_key": {
          "path_match":   "name.*",
          "path_unmatch": "*.middle",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

8.索引基础操作

创建索引的时候指定Mapping

PUT /[索引名称]
{
    "mappings":{
        "properties":{
            "字段名":{
                "type":"text",
                "analyzer":"ik_smart"
            },
            "字段名2":{
                "type":"keyword",
                "index":false
            },
            "字段名3":{
                "properties":{
                    "子字段":{
                        "type":"keyword"
                    }
                }
            }
        } 
    }
}

获取索引的字段Mapping

介绍

检索一个或多个字段的映射定义。如果您不需要索引的完整映射或索引包含大量字段，这将很有用

请求路径
GET /_mapping/field/[字段名]

GET /[索引名]/_mapping/field/[字段名]
请求示例
GET publications/_mapping/field/title
GET publications/_mapping/field/author.id,abstract,name
GET publications/_mapping/field/a*

获取某个索引的映射信息

GET /索引名/_mapping

9.Mapping属性解读

字段拷贝（copy_to）

介绍
  1. 该参数允许将多个字段的值复制到copy_to的字段上
  2. copy_to的字段支持查询
  3. 如果有多个字段需要查询，可以尝试把多个字段的值拷贝到一个新字段上
  4. 可以将相同的值复制到多个字段， “copy_to”: [ “field_1”, “field_2” ]
示例
PUT /[索引名]
{
    "mappings":{
        "properties":{
            "name":{
                "type":"text",
                "analyzer":"ik_max_word",
                "copy_to":"all"
            },
            "business":{
                "type":"keyword",
                "copy_to":"all"
            },
            "all":{
                "type":"text",
                "analyzer":"ik_max_word"
            }
        }
    }
}

index

介绍

控制当前字段是否被索引，默认为true。如果设置为false，该字段不可被搜索

示例
PUT /[索引名]
{
    "mappings":{
        "properties":{
            "name":{
                "type":"text",
                "index":false
            }
        }
    }
}

index_options

介绍

控制倒排索引记录的内容

可选值
  1. docs： 记录doc id
  2. freqs： 记录doc id和term frequencies(词频)
  3. positions： 记录doc id / term frequencies / term position
  4. offsets： doc id / term frequencies / term posistion / character offects
  5. 注意： text类型默认记录postions，其他默认为docs。记录内容越多，占用存储空间越大
示例
PUT /[索引名]
{
    "mappings":{
        "properties":{
            "name":{
                "type":"text",
                "index_options":"offsets"
            }
        }
    }
}

null_value

介绍

需要对NULL值进行搜索，只有keyword类型支持设计Null_value

示例
PUT /[索引名]
{
    "mappings":{
        "properties":{
            "name":{
                "type":"keyword",
                "null_value":"NULL"
            }
        }
    }
}

boost

介绍

在查询时，可以增加字段的算分，默认为1

请求格式
# 创建索引时候指定
PUT /<index>
{
  "mappings": {
    "properties": {
      "<field>": {
        "type": "text",
        "boost": 2 
      }
    }
  }
}

# 查询时指定
POST _search
{
    "query": {
        "match" : {
            "title": {
                "query": "quick brown fox",
                "boost": 2
            }
        }
    }
}
注意
  • 不提升prefix，range，fuzzy查询的分数
  • 不建议使用index time提升。而是在search time时使用

fields

介绍

text字段类型不能被排序和聚合如果要text字段能被排序或聚合可以使用fields

请求格式
PUT /<index>
{
  "mappings": {
    "properties": {
      "<field>": {
        "type":     "text",
        "fields":{
          "<child_field>":{
            "type":"keyword"
          }
        }
      }
    }
  }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/347678.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

antdesignvue中使用VNode写法

antdesignvue中使用VNode写法

1、使用场景 如图&#xff1a;消息提示框中&#xff0c;将数据中的数据单独一行显示 2、代码 let errorList res.result; //后端返回的数据例&#xff1a; ["1. 数据格式不正确","2. 数据已存在"]if(errorList&&errorList.length!0){this.$notif…
阅读更多...
IDE server has started, listening on http://127.0.0.1:61945已解决

IDE server has started, listening on http://127.0.0.1:61945已解决

看了网上很多网上博主写的&#xff0c;总结出来了两个主要方法&#xff0c;以我的为准&#xff0c;很多博客都是错误的&#xff01; 1.打开微信开发者工具的安全权限 设置-安全设置-服务端口 2.必须把appid改为自己的才能打开微信小程序&#xff0c;只能在mainfest里面改&…
阅读更多...
【工具使用-Everything】everything只能搜到文件夹，无法搜到文件

【工具使用-Everything】everything只能搜到文件夹，无法搜到文件

一&#xff0c;问题现象 everything搜索时&#xff0c;只能搜索到文件夹&#xff0c;无法搜索到文件夹下的文件。 二&#xff0c;问题原因 everything搜索设置问题&#xff0c;设置为"文件夹"导致 三&#xff0c;解决方法 将搜索选项设置为“所有”即可&#x…
阅读更多...
第3章 接口和API设计

第3章 接口和API设计

第15条&#xff1a;用前缀避免命名空间冲突 OC没有其他语言那种内置的命名空间机制。因此&#xff0c;我们在起名时要设法避免潜在的命名冲突&#xff0c;否则很容易就重名了。若是发生重名冲突&#xff0c;那么应用程序相应的链接过程就会出错。例如&#xff1a; 错误原因在…
阅读更多...
ORBSLAM3 运行流程，以rgbd_tum.cc函数为例进行分析

ORBSLAM3 运行流程，以rgbd_tum.cc函数为例进行分析

一、运行 使用的是D435i相机自己录制的数据。 运行命令&#xff1a; ./Examples/RGB-D/rgbd_tum /opt/vslam/ORB_SLAM3_detailed_comments-dense_map_new/Vocabulary/ORBvoc.txt /opt/vslam/ORB_SLAM3_detailed_comments-dense_map_new/Examples/RGB-D/TUM1.yaml /opt/vsl…
阅读更多...
Modern C++ std::bind的实现原理

Modern C++ std::bind的实现原理

1. 前言 前面写过《std::function从实践到原理》&#xff0c;管中规豹了std::function的一点点原理&#xff0c;不过还有一个与std::function密切相关的函数std::bind, 允许编程者绑定几个参数&#xff0c;本文着重介绍它的实现原理。不介绍一下它&#xff0c;有点吃肉不吃蒜味…
阅读更多...
【C++干货基地】C++入门篇：输入输出流 | 缺省函数 | 函数重载（文末送书）

【C++干货基地】C++入门篇：输入输出流 | 缺省函数 | 函数重载（文末送书）

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525; 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 引入 哈喽各位铁汁们好啊&#xff0c;我是博主鸽芷咕《C干货基地》是由我的襄阳家乡零食基地有感而发&#xff0c;不知道各位的…
阅读更多...
JVM-初始JVM

JVM-初始JVM

什么是JVM JVM 全称是 Java Virtual Machine&#xff0c;中文译名 Java虚拟机。JVM 本质上是一个运行在计算机上的程序&#xff0c;他的职责是运行Java字节码文件。 Java源代码执行流程如下&#xff1a; JVM的功能 1 - 解释和运行 2 - 内存管理 3 - 即时编译 解释和运行 解释…
阅读更多...
如何配置Tomcat服务环境并实现无公网ip访问本地站点

如何配置Tomcat服务环境并实现无公网ip访问本地站点

文章目录 前言1.本地Tomcat网页搭建1.1 Tomcat安装1.2 配置环境变量1.3 环境配置1.4 Tomcat运行测试1.5 Cpolar安装和注册 2.本地网页发布2.1.Cpolar云端设置2.2 Cpolar本地设置 3.公网访问测试4.结语 前言 Tomcat作为一个轻量级的服务器&#xff0c;不仅名字很有趣&#xff0…
阅读更多...
重塑网络安全格局：零信任安全架构的崛起与革新

重塑网络安全格局：零信任安全架构的崛起与革新

零信任安全架构是一种现代安全模式&#xff0c;其设计原则是“绝不信任&#xff0c;始终验证”。它要求所有设备和用户&#xff0c;无论他们是在组织网络内部还是外部&#xff0c;都必须经过身份验证、授权和定期验证&#xff0c;才能被授予访问权限。简而言之&#xff0c;“零…
阅读更多...
（2024，MLLM，扩散，中文数据集扩散预训练，多模态提示引导微调）UNIMO-G：通过多模态条件扩散进行统一图像生成

（2024，MLLM，扩散，中文数据集扩散预训练，多模态提示引导微调）UNIMO-G：通过多模态条件扩散进行统一图像生成

UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion 公和众和号&#xff1a;EDPJ&#xff08;进 Q 交流群&#xff1a;922230617 或加 VX&#xff1a;CV_EDPJ 进 V 交流群&#xff09; 目录 1. 摘要 2. 方法 3. 结果 1. 摘要 现有的文本到图像…
阅读更多...
GraphQL的力量：简化复杂数据查询

GraphQL的力量：简化复杂数据查询

1. GraphQL GraphQL 是一种由 Facebook 开发并于 2015 年公开发布的数据查询和操作语言&#xff0c;也是运行在服务端的运行时&#xff08;runtime&#xff09;用于处理 API 查询的一种规范。不同于传统的 REST API&#xff0c;GraphQL 允许客户端明确指定它们需要哪些数据&am…
阅读更多...
java以SSL方式连ES

java以SSL方式连ES

先做准备工作&#xff0c;浏览器方式访问 ES7.X url https://127.0.0.1:8027 弹出用户名和密码 输入后在浏览器得到 { “name” : “DTCNPEMS04”, “cluster_name” : “cnp-es-cluster”, “cluster_uuid” : “wb0So_FqQBOKqtXnsqofTg”, “version” : { “number” : “7.…
阅读更多...
力扣hot100 两数相加 链表 思维

力扣hot100 两数相加 链表 思维

Problem: 2. 两数相加 Code ⏰ 时间复杂度: O ( n ) O(n) O(n) &#x1f30e; 空间复杂度: O ( n ) O(n) O(n) /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode() {}* ListNode(int val) { this.…
阅读更多...
prometheus监控RabbitMQ策略

prometheus监控RabbitMQ策略

一般用官方的rabbitmq_exporter采取数据即可&#xff0c;然后在普米配置。但如果rabbitmq节点的队列数超过了5000&#xff0c;往往rabbitmq_exporter就会瘫痪&#xff0c;因为rabbitmq_exporter采集的信息太多&#xff0c;尤其是那些队列的细节&#xff0c;所以队列多了&#x…
阅读更多...
android camera的使用以及输出的图像格式

android camera的使用以及输出的图像格式

一、Camera 1.1、结合SurfaceView实现预览 1.1.1、布局 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"xmlns:app"http://schemas.android.com/apk/res-au…
阅读更多...
SpringBoot项目多数据源配置与MyBatis拦截器生效问题解析

SpringBoot项目多数据源配置与MyBatis拦截器生效问题解析

在日常项目开发中&#xff0c;由于某些原因&#xff0c;一个服务的数据源可能来自不同的库&#xff0c;比如&#xff1a; 对接提供的中间库&#xff0c;需要查询需要的数据同步数据&#xff0c;需要将一个库的数据同步到另一个库&#xff0c;做为同步工具的服务对接第三方系统…
阅读更多...
离零售业智能体时代的真正开启还有多远？

离零售业智能体时代的真正开启还有多远？

AIGC&#xff08;生成式人工智能&#xff09;当道的2023年&#xff0c;将LLM&#xff08;大语言模型&#xff09;的各类生成式能力发挥到淋漓尽致、精彩纷呈的程度。各行各业一边在观望大语言模型不断扩宽的商业运用可能&#xff0c;一边在继续探寻能够不断拓宽企业往纵深发展的…
阅读更多...
C/C++ - Auto Reference

C/C++ - Auto Reference

目录 auto Reference auto 当使用auto​​关键字声明变量时&#xff0c;C编译器会根据变量的初始化表达式推断出变量的类型。 自动类型推断&#xff1a;auto​​关键字用于自动推断变量的类型&#xff0c;使得变量的类型可以根据初始化表达式进行推导。 初始化表达式&#x…
阅读更多...
Redis的五种常用数据类型详解及相关面试问题

Redis的五种常用数据类型详解及相关面试问题

目录 Redis的五种常用数据类型详解 简述 Redis五种基本数据类型 String字符串 常用命令 应用场景 Hash散列表 常用命令 使用场景 List链表 常用命令 应用场景 Set( 集合) 常用命令 应用场景 SortedSet( 有序集合) zset 常用命令介绍 应用场景 面试题常问的数…
阅读更多...
最新文章

Copyright @ 2022~2023