ElasticSearch开发指北和场景题分析

前言

本篇是ES系列的第二篇，继上次的理论篇ElasticSearch理论体系构建后，带来了实战篇。实战篇来自于我对常见操作以及场景的分析总结，详细到每个步骤和理由，下一篇将是性能优化篇。

常用操作

以下操作均使用ES的API进行展示，为什么这么做呢，而不是选用某一个程序代码来进行演示？原因是我认为，ES的核心在于API，无论是Java、python等包装的操作客户端，哪怕语法用得再厉害，无非就是对原生Restful API的封装罢了。再说了大部分客户端都支持直接丢个Json进去，你掌握了API的写法，其实用什么语言都能很快上手。

索引操作

创建索引–最基础的操作，一般建议是直接如下案例，一次性建好配置和映射还有别名，避免多次IO


PUT /索引名称 { "settings": { "属性名": "属性值" } }
PUT /flink-test1
{
  "settings": {
    "number_of_shards": 6,
    "number_of_replicas": 1,
    "refresh_interval": "5s",
    "translog.durability": "async",
    "translog.sync_interval": "30s",
    "index.highlight.max_analyzed_offset": 2000000
  },
  "aliases": {
    "flink-test": {}
  },
  "mappings": {
    "properties": {
      "userId": {
        "type": "keyword"
      },
      "userName": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "requestUrl": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "requestType": {
        "type": "keyword"
      },
      "logType": {
        "type": "keyword"
      },
      "requestMethod": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "env": {
        "type": "keyword"
      },
      "localIp": {
        "type": "keyword",
        "index": false,
        "doc_values": false
      },
      "requestIp": {
        "type": "keyword",
        "index": false,
        "doc_values": false
      },
      "triceId": {
        "type": "keyword"
      },
      "createTime": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss.SSS"
      },
      "system": {
        "type": "keyword"
      },
      "threadName": {
        "type": "keyword"
      },
      "msg": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

判断索引是否存在–HEAD /索引名称
查看索引–GET** /索引名称
批量查看索引–GET **/索引名称1,索引名称2,索引名称3,…
查看所有索引–GET _all
概要信息– GET /_cat/indices?v
查询主节点–GET /_cat/master
打开索引–POST /索引名称/_open
关闭索引–POST /索引名称/_close
删除索引–DELETE /索引名称1,索引名称2,索引名称3…
创建映射字段

PUT /索引库名/_mapping
{
    "properties": {
        "字段名": {
            "type": "类型",  
            "index": true，
            "store": true，
            "analyzer": "分词器"
        }
    }
}

查看映射关系–GET** **/索引名称/_mapping
一次性创建索引和映射

PUT /索引库名称
{
    "settings":{
        "索引库属性名":"索引库属性值"
        },
    "mappings":{
        "properties":{
            "字段名":{
            "映射属性名":"映射属性值"
            }
        }
    }
}

查看索引配置–GET** **/索引名称/_settings
修改索引配置

PUT /log-zero-uat-202211/_settings
{
  "index" : {
    "highlight.max_analyzed_offset" : 500000
  }
}

文档操作

新增文档–第一种指定ID，不推荐，建议使用第二种不指定ID，由ES自动生成

POST /索引名称/_doc/{id}
POST /test111/_doc
{
  "name" : "百度",
  "job" : "小度用户运营经理",
  "payment" : "30000"
}

查看单个文档–GET** **/索引名称/_doc/{id}
查看所有文档

POST /索引名称/_search
{
    "query":{
        "match_all": {}
    }
}

查询指定列–GET /索引名称/_doc/1?_source=name,job
更新文档

全部更新，是直接把之前的老数据，标记为删除状态，然后，再添加一条更新的（使用PUT或者POST）局域更新，只是修改某个字段（使用POST）
全部更新
把刚才新增的请求方式改为PUT，就是修改了，不过修改必须指定id，如果id对应文档存在，则修改；如果id对应文档不存在，则新增
局部更新
POST /索引名/_update/{id}
{
    "doc":{
        "field":"value"
    }
}

删除文档

根据id进行删除：
DELETE /索引名/_doc/{id}
删除所有文档
POST /my-index-000001/_delete_by_query
{
  "query": {
    "match": {
      "user.id": "elkbee"
    }
  }
}

查询日期大于XXX的字段

GET /log-zero-pro-202203-alias1/_search
{
  "query": { 
    "bool": { 
      "filter": [ 
        { "range": { "createTime": { "gte": "2022-03-31 08:00:00.000" }}}
      ]
    }
  }
}

方案操作文档

常规操作还有很多，后面慢慢补充吧，没有放很多复杂的东西进去，毕竟大家的业务都不一样，照着官网案例写就行了，我觉得8.X的文档写的比7.X的垃圾多了，不知道是不是我的错觉，少了很多案例。下面带来一些经典的ES实操案例，让大家快速了解ES。

ES集群添加插件（分词器）或修改配置-需要滚动重启

  1. 禁止分片自动分布。这个很好理解，避免新节点进来，分片数据重分配，不会影响数据的正确性，同时不用重分配也加速了咱们切换的时间。
PUT /_cluster/settings
{
  "transient" : {
    "cluster.routing.allocation.enable" : "none"
  }
}

  1. 执行同步刷新。在关闭节点前，把内存中的数据刷入磁盘，避免丢失数据。
    :::info
    curl -X POST “localhost:9200/_flush/synced”
    /_flush/synced API的主要的作用和场景有:

  2. 强制执行挂起的索引刷新,使文档可搜索。默认情况下,Elasticsearch会定期自动刷新,但调用/_flush/synced可以手动刷新。

  3. 在做故障转移之前,调用该API可以确保主分片已经完成所有的索引操作。否则故障转移可能会失去数据。

  4. 与_flush不同,_synced会进行额外的处理,确保主分片和副本分片都完成了刷新。
    :::

  5. 关闭单个节点，添加分词器或者修改配置之类的，重启节点

  6. 观察该节点是否加入集群，检查下是否正常启动，都OK，就开启分片自动分片，等待集群状态恢复正常

PUT /_cluster/settings
{
    "transient" : {
        "cluster.routing.allocation.enable" : "all"
    }
}
  1. 对剩余节点进行以上1-4重复操作，即可完成滚动重启

ES集群重建索引-无需重启

ElasticSearch不停机重建索引引申来的优化与思考-阅读5137点赞28收藏43，直接看我写的这篇文章吧，详细多了，就不赘述了。

Elasticsearch时区问题

Elasticsearch 滞后8个小时等时区问题，一网打尽！
推荐上面那篇文章，大佬写得很好，总结一下就是，ES默认时区UTC+0改不了，只能适应它，但是Kibana和查询API可以换时区曲线救国。当然我们不能指望查询时去改数据，最好做到输入到ES里的数据就是我们想要的时区。

“createTime”:{“type”:“date”,“format”:“yyyy-MM-dd HH:mm:ss.SSS”}，我的映射结构是这种的，我在输入数据的时候，考虑两种做法。第一种是如Filebeat+Kafka+数据处理服务+Elasticsearch+Kibana+Skywalking日志收集系统，文中的处理，在输入端，将日期时间主动修改为和ES默认一致的时区，这样转换后的数据依旧是我们想要的时间。
image.png
第二种是向ES发送请求时，比如是Java客户端，在JSON转换时加上时区@JsonFormat(pattern=“yyyy-MM-dd HH:mm:ss.SSS”,timezone=“GMT+8”)，注意我这里用的是Jackson序列化工具，所以注解用的JsonFormat，如果Spring全局替换为Fastjson就改下注解就行。

ES字段调整的另一个办法

不必Reindex，利用runtime_fields优雅地解决字段类型错误问题
这是ES社区写的一篇文章，里面提到了这个运行时字段，是ES较高版本给出的一个解决措施。里面只提到了它的优点，就是灵活性强且不占用存储空间，因为他是在查询期间动态运算的，所以运行时字段并不在实际的文档中存储。也就是说，你加了这个运行时字段，其实索引大小是不会变的，但是查询的时候，可以用这个字段查出数据，特定情况也算是提高了性能，如果是频繁修改索引的业务场景，那么使用运行时字段，就不会引发索引的频繁构建。

但是文章里没说缺点，这就很坑人了，所以我来说说。运行时处理，由这个关键词很容易想到，这是一种时间换空间的手法，必然会拉长查询速度，同时耗费多余的计算资源。总之使用的时候见仁见智吧，和前面的滚动停机以及不停机的两种方案各有优劣。

问题解决

高亮文本解析字符数超过默认值报错


The length of [msg] field of [WKO61oEB7lnawBKq29Pl] doc of [log-zero-uat-202207-alias1] index has exceeded [1000000] - maximum allowed to be analyzed for highlighting. This maximum can be set by changing the [index.highlight.max_analyzed_offset] index level setting. For large texts, indexing with offsets or term vectors is recommended!

该问题常见于Kibana查询时报错，因为我们带条件查询的时候，kibanna默认使用高亮查询，而ES为了加快响应速度将默认解析字符数设置为10w，我们在操作的时候可以将索引的相关设置调整为100w

PUT /索引名称/_settings
{ "index": { "highlight.max_analyzed_offset": 10000000 } }

text类型默认不支持聚合和排序

报错内容：
:::info
Text fields are not optimised for operations that require per-document field data like aggregations and sorting, so these operations are disabled by default. Please use a keyword field instead. Alternatively, set fielddata=true on [userId] in order to load field data by uninverting the inverted index. Note that this can use significant memory（文本字段未针对需要每个文档字段数据的操作（如聚合和排序）进行优化，因此默认情况下禁用这些操作。请改用关键字字段。或者，在 [userId] 上设置 fielddata=true，以便通过反转倒排索引来加载字段数据。请注意，这可能会占用大量内存）
:::
解决方案：
text类型默认不支持聚合和排序，因此要么修改mapping增加属性fielddata=true，或者直接修改字段类型为keyword

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/503134.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

金融投贷通--功能测试分析与设计

金融投贷通--功能测试分析与设计

金融投贷通功能测试分析与设计 测试点分析借款业务测试点投资业务测试点 测试用例借款业务测试用例投资业务测试用例 缺陷面试题 测试报告 测试点分析 借款业务测试点 投资业务测试点 测试用例 借款业务测试用例 借款成功（主业务）、借款成功&#xff…
阅读更多...
Figma：如何在数据库规模四年增长近100倍的挑战中“活”下来？

Figma：如何在数据库规模四年增长近100倍的挑战中“活”下来？

在当今数字化飞速发展的时代，大数据的崛起已成为各行业不可或缺的重要驱动力。然而，随着数据量的激增，许多企业面临着巨大的挑战，尤其是在数据库管理和维护方面。Figma作为一家专注于设计协作领域的领先企业，在过去的四…
阅读更多...
Tron波场区块链 | 使用Java将Tron钱包助记词转私钥 全网独门一份

Tron波场区块链 | 使用Java将Tron钱包助记词转私钥 全网独门一份

如何使用Java将Tron钱包助记词转换为私钥? 本来想着这个问题挺简单，可是查了半天，不是，不止半天查了好长时间，看了半天官网文档，全网Java就没有实现的。 咋办。。。咋办呢？ 好巧，官网我看到…
阅读更多...
瑞吉外卖实战学习--5、新增员工功能

瑞吉外卖实战学习--5、新增员工功能

新增员工功能 效果图1、开发流程2、页面发送ajax请求，将新增员工的信息以json的形式提交给服务器2.1、在填写信息的时候会发现身份校验比较麻烦，可以在validate中将全局的校验方式去掉，方便填写2.3、看到接口未employee2.4、前端代码分析3、服务器接收到提交的数据并调用ser…
阅读更多...
Kotlin 中的类和构造方法

Kotlin 中的类和构造方法

Kotlin 中的类与接口和 Java 中的类与接口还是有区别的。例如，Koltin 中的接口可以包含属性声明，与 Java 不同的是。Kotlin 的声明默认是 final 和 public 的。此外，嵌套的类默认并不是内部类：它们并没有包含对其它外部类的隐式引…
阅读更多...
【系统架构师】-第18章-安全架构设计

【系统架构师】-第18章-安全架构设计

(1)信息泄露：信息被泄露或透露给某个非授权的实体。 (2)破坏信息的完整性：数据被非授权地进行增删、修改或破坏而受到损失。 (3)拒绝服务：对信息或其他资源的合法访问被无条件地阻止。 (4)非法使用(非授权访问):某一资源被某个非授权的人或…
阅读更多...
第十五届蓝桥杯模拟考试II_物联网设计

第十五届蓝桥杯模拟考试II_物联网设计

反思： 本次模拟让我惊醒，写这个作品如同搭积木，在拼接的时候都要仔细检查这个积木是否出bug,确保没有问题再将其拼接到之前搭好的大模块之中，因为就是这样的题目我在处理过程中就遇到了BUG，原因竟出在输入模式要上拉&…
阅读更多...
二十四种设计模式与六大设计原则（二）：【门面模式、适配器模式、模板方法模式、建造者模式、桥梁模式、命令模式】的定义、举例说明、核心思想、适用场景和优缺点

二十四种设计模式与六大设计原则（二）：【门面模式、适配器模式、模板方法模式、建造者模式、桥梁模式、命令模式】的定义、举例说明、核心思想、适用场景和优缺点

接上次博客：二十四种设计模式与六大设计原则（一）：【策略模式、代理模式、单例模式、多例模式、工厂方法模式、抽象工厂模式】的定义、举例说明、核心思想、适用场景和优缺点-CSDN博客 目录 门面模式【Facade Pattern】 定义 举…
阅读更多...
Arthas线上排查问题流程

Arthas线上排查问题流程

入门文档：trace | arthas 1、jar下载和启动 连接curl -O https://arthas.aliyun.com/arthas-boot.jar【wget https://arthas.aliyun.com/arthas-boot.jar】 。.../jdk/bin/java -jar arthas-boot.jar 22336【最好在这个目录启动,port可选】 选择进程序号 enter回车…
阅读更多...
二分（二段性）

二分（二段性）

本文用于记录个人算法竞赛学习，仅供参考 一.二分算法 二分算法一般用于具有二段性的问题，数据不一定具有单调性，所以单调可二分，可二分不一定就要单调。 二.整数二分 1. 模板一：将区间[l, r]划分为[l, mid] 和 [mid…
阅读更多...
学生价，leetcode会员购买分析

学生价，leetcode会员购买分析

最近想要购买leetcode会员，但不知道买啥好，打算用python可视化数据进行一个简单的分析 具体数据如下 curve 1: 首两月79元每月，后续连续包月59curve 2: 90天199curve 3: 365天365（学生认证） 这么看，数据…
阅读更多...
FA模型切换Stage模型组件切换之ServiceAbility切换DataAbility切换

FA模型切换Stage模型组件切换之ServiceAbility切换DataAbility切换

ServiceAbility切换 FA模型中的ServiceAbility对应Stage模型中的ServiceExtensionAbility。Stage模型下的ServiceExtensionAbility为系统API，只有系统应用才可以创建。因此，FA模型的ServiceAbility的切换，对于系统应用和三方应用策略有所不同…
阅读更多...
AI制作一键生成模特换装照，电商蓝海副业供不应求

AI制作一键生成模特换装照，电商蓝海副业供不应求

在电子商务领域，产品展示和模特试穿照片是至关重要的。在传统流程中，创建一张精美的商品主图通常需要摄影师在摄影棚里进行白底拍摄，接着设计师会进行图像设计处理。 公 重 号：老A程序站 对于更复杂且高端的商品展示&#xff0c…
阅读更多...
测试小萌新都看得懂的使用JMeter进行压测

测试小萌新都看得懂的使用JMeter进行压测

前言 需要先搭配好JMeter的环境并运行 准备一个被测试接口 对其进行压力测试 搭配JMeter的运行环境 1.安装jdk jdk安装过程会提供两次安装，第一次是安装jre，第二次是安装java。 我在D盘提前新建了2个文件夹，jre文件夹用于jre安装&#xff…
阅读更多...
PS从入门到精通视频各类教程整理全集，包含素材、作业等（3）复发

PS从入门到精通视频各类教程整理全集，包含素材、作业等（3）复发

PS从入门到精通视频各类教程整理全集，包含素材、作业等 最新PS以及插件合集，可在我以往文章中找到 由于阿里云盘有分享次受限制和文件大小限制，今天先分享到这里，后续持续更新 中级教程 https://www.alipan.com/s/unii5YxtM8B 提…
阅读更多...
【初阶数据结构】——牛客：OR36 链表的回文结构

【初阶数据结构】——牛客：OR36 链表的回文结构

文章目录 1. 题目介绍2. 思路分析3. 代码实现 1. 题目介绍 链接: link 这道题呢是让我们判断一个链表是否是回文结构。但是题目要求设计一个时间复杂度为O(n)，额外空间复杂度为O(1)的算法。 所以如果我们想把链表的值存到一个数组中再去判断就不可行了。 2. 思路…
阅读更多...
时序数据预处理

时序数据预处理

时序数据预处理 对于数据科学来说，凡事“预”则立，不“预”则废。数据的质量直接决定数据挖掘的结果。本文旨在一站式的梳理时序数据的预处理步骤。 数据预处理的目的是将脏数据变成我们想要的干净的数据，这里的干净指的是： 准确…
阅读更多...
WeekPaper：GraphTranslator将知识图谱与大模型对齐

WeekPaper：GraphTranslator将知识图谱与大模型对齐

GraphTranslator: 将图模型与大型语言模型对齐，用于开放式任务。 将基于图的结构和信息与大型语言模型的能力整合在一起，以提高在涉及复杂和多样数据的任务中的性能。其目标是利用图模型和大型语言模型的优势，解决需要处理和理解结构化和非结…
阅读更多...
JavaScript动态渲染页面爬取——Pyppeteer爬取实战

JavaScript动态渲染页面爬取——Pyppeteer爬取实战

Pyppeteer爬取实战 爬取目标 电影网站https://spa2.scrape.center/ 任 务 通过Selenium遍历列表页，获取每部电影的详情页URL通过Selenium根据上一步获取的详情页URL爬取每部电影的详情页从详情页中提取每部电影的名称、类别、分数、简介、封面等内容。 爬取列表页…
阅读更多...
ssm009毕业生就业信息统计系统+vue

ssm009毕业生就业信息统计系统+vue

毕业生就业信息统计系统 摘 要 随着移动应用技术的发展，越来越多的学生借助于移动手机、电脑完成生活中的事务，许多的行业也更加重视与互联网的结合，以提高快捷、高效、安全，可以帮助更多有需求的人。针对传统毕业生就业信息统计…
阅读更多...
最新文章

Copyright @ 2022~2023