Elasticsearch：ES|QL 快速入门

警告：此功能处于技术预览阶段，可能会在未来版本中更改或删除。 Elastic 将努力解决任何问题，但技术预览版中的功能不受官方 GA 功能的支持 SLA 的约束。目前的最新发行版为 Elastic Stack 8.11。

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。

用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。

Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

ES|QL 计算引擎

ES|QL 不仅仅是一种语言：它代表了对 Elasticsearch 内新计算功能的重大投资。 为了同时满足 ES|QL 的功能和性能要求，有必要构建全新的计算架构。 ES|QL 搜索、聚合和转换功能直接在 Elasticsearch 本身内执行。 查询表达式不会转换为查询 DSL 来执行。 这种方法使 ES|QL 具有极高的性能和多功能性。

新的 ES|QL 执行引擎在设计时充分考虑了性能 - 它一次对块（block）而不是对每行进行操作，以向量化和缓存局部性为目标，并支持专业化和多线程。 它是一个独立于现有 Elasticsearch 聚合框架的组件，具有不同的性能特征。

让我们开始吧

在接下来的部分我们将展示了如何使用 ES|QL 查询和聚合数据。

前提条件

我们必须安装 Elastic Stack 8.11 及以上版本。

要遵循下面的查询，首先使用以下请求提取一些示例数据：

PUT sample_data
{
  "mappings": {
    "properties": {
      "client.ip": {
        "type": "ip"
      },
      "message": {
        "type": "keyword"
      }
    }
  }
}
PUT sample_data/_bulk
{"index": {}}
{"@timestamp": "2023-10-23T12:15:03.360Z", "client.ip": "172.21.2.162", "message": "Connected to 10.1.0.3", "event.duration": 3450233}
{"index": {}}
{"@timestamp": "2023-10-23T12:27:28.948Z", "client.ip": "172.21.2.113", "message": "Connected to 10.1.0.2", "event.duration": 2764889}
{"index": {}}
{"@timestamp": "2023-10-23T13:33:34.937Z", "client.ip": "172.21.0.5", "message": "Disconnected", "event.duration": 1232382}
{"index": {}}
{"@timestamp": "2023-10-23T13:51:54.732Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 725448}
{"index": {}}
{"@timestamp": "2023-10-23T13:52:55.015Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 8268153}
{"index": {}}
{"@timestamp": "2023-10-23T13:53:55.832Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 5033755}
{"index": {}}
{"@timestamp": "2023-10-23T13:55:01.543Z", "client.ip": "172.21.3.15", "message": "Connected to 10.1.0.1", "event.duration": 1756467}

我们有两种方法可以运行查询：

  • 在 Dev Tools 中运行
  • 在 Discover 中运行

在 Dev Tools 中运行查询

我们需要在 Kibana 的界面中，进入到 Dev Tools。通常一个 ES|QL query API 的命令格式是这样的：

POST /_query?format=txt
{
  "query": """

  """
}

在两组 """  """之间输入实际的 ES|QL 查询。 例如：

POST /_query?format=txt
{
  "query": """
    FROM sample_data
  """
}

我们也可以使用 JSON 的格式来返回结果：

POST /_query?format=json
{
  "query": """
    FROM sample_data
  """
}

在 Discover 中使用 ES|QL

我们首先为 sample_data 这个索引创建一个 data view：

这样我们就创建了一个 sample_data 的 data view。

我们打开 Discover 界面：

我们首先选中  sample_data，然后选中合适的时间窗口：

在默认的情况下，它显示 10 个文档。我们也可以看到一个可视化图。为了更方便地编写多行查询，请单击双头箭头按钮（）来展开查询栏：

我们的第一个 ES|QL 查询

每个 ES|QL 查询都以源 (source) 命令开头。 源命令会生成一个表，通常包含来自 Elasticsearch 的数据。

FROM source 命令返回一个表，其中包含来自数据流、索引或别名的文档。 结果表中的每一行代表一个文档。 此查询从 sample_data 索引中返回最多 500 个文档：

FROM sample_data

每列对应一个字段，并且可以通过该字段的名称进行访问。

提示：ES|QL 关键字不区分大小写。 以下查询与前一个查询相同：

from sample_data

处理命令

源命令后面可以跟一个或多个处理命令，用竖线字符分隔：|。 处理命令通过添加、删除或更改行和列来更改输入表。 处理命令可以执行过滤、投影、聚合等。

例如，你可以使用 LIMIT 命令来限制返回的行数，最多为 10,000 行：

FROM sample_data
| LIMIT 3

提示：为了便于阅读，你可以将每个命令放在单独的行上。 但是，你不必这样做。 以下查询与前一个查询相同：

FROM sample_data | LIMIT 3

对表格进行排序

另一个处理命令是 SORT 命令。 默认情况下，FROM 返回的行没有定义的排序顺序。 使用 SORT 命令对一列或多列上的行进行排序：

FROM sample_data
| SORT @timestamp DESC

查询数据

使用 WHERE 命令来查询数据。 例如，要查找持续时间超过 5 毫秒的所有事件：

FROM sample_data
| WHERE event.duration > 5000000

WHERE 支持多个运算符。 例如，你可以使用 LIKE 对消息列运行通配符查询：

FROM sample_data
| WHERE message LIKE "Connected*"

更多处理命令

还有许多其他处理命令，例如用于保留或删除列的 KEEP 和 DROP、用于使用 Elasticsearch 中索引的数据丰富表的 ENRICH 以及用于处理数据的 DISSECT 和 GROK。 有关所有处理命令的概述，请参阅 “Elasticsearch：ES|QL 查询语言简介”。

链式处理命令

你可以链接处理命令，并用竖线字符分隔：|。 每个处理命令都作用于前一个命令的输出表。 查询的结果是最终处理命令生成的表。

以下示例首先根据 @timestamp 对表进行排序，然后将结果集限制为 3 行：

FROM sample_data
| SORT @timestamp DESC
| LIMIT 3

注意：处理命令的顺序很重要。 首先将结果集限制（LIMIT）为 3 行，然后再对这 3 行进行排序，很可能会返回与此示例不同的结果，其中排序在 LIMIT 之前。

计算值

使用 EVAL 命令将包含计算值的列追加到表中。 例如，以下查询附加一个 duration_ms 列。 该列中的值是通过将 event.duration 除以 1,000,000 计算得出的。 换句话说： event.duration 从纳秒转换为毫秒。

FROM sample_data
| EVAL duration_ms = event.duration / 1000000.0

EVAL 支持多种 functions。 例如，要将数字四舍五入为最接近指定位数的数字，请使用 ROUND 函数：

FROM sample_data
| EVAL duration_ms = ROUND(event.duration / 1000000.0, 1)

计算统计数据

ES|QL 不仅可以用来查询你的数据，你还可以使用它来聚合你的数据。 使用 STATS ... BY 命令计算统计数据。 例如，中位持续时间：

FROM sample_data
| STATS median_duration = MEDIAN(event.duration)

你可以使用一个命令计算多个统计数据：

FROM sample_data
| STATS median_duration = MEDIAN(event.duration), max_duration = MAX(event.duration)

使用 BY 按一列或多列对计算的统计数据进行分组。 例如，要计算每个客户端 IP 的中位持续时间：

FROM sample_data
| STATS median_duration = MEDIAN(event.duration) BY client.ip

创建直方图

为了跟踪一段时间内的统计数据，ES|QL 允许你使用 AUTO_BUCKET 函数创建直方图。 AUTO_BUCKET 创建人性化的存储桶大小，并为每行返回一个与该行所属的结果存储桶相对应的值。

例如，要为 10 月 23 日的数据创建每小时存储桶：

FROM sample_data
| KEEP @timestamp
| EVAL bucket = AUTO_BUCKET (@timestamp, 24, "2023-10-23T00:00:00Z", "2023-10-23T23:59:59Z")

将 AUTO_BUCKET 与 STATS ... BY 结合起来创建直方图。 例如，要计算每小时的事件数：

FROM sample_data
| KEEP @timestamp, event.duration
| EVAL bucket = AUTO_BUCKET (@timestamp, 24, "2023-10-23T00:00:00Z", "2023-10-23T23:59:59Z")
| STATS COUNT(*) BY bucket

或每小时的中位持续时间：

FROM sample_data
| KEEP @timestamp, event.duration
| EVAL bucket = AUTO_BUCKET (@timestamp, 24, "2023-10-23T00:00:00Z", "2023-10-23T23:59:59Z")
| STATS median_duration = MEDIAN(event.duration) BY bucket

丰富数据

ES|QL 使你能够使用 ENRICH 命令使用 Elasticsearch 中索引的数据来丰富表。

在使用 ENRICH 之前，你首先需要 create 并 execute 你的 enrich policy。 以下请求创建并执行将 IP 地址链接到环境（“Development”、“QA” 或 “Production”）的策略：

PUT clientips
{
  "mappings": {
    "properties": {
      "client.ip": {
        "type": "keyword"
      },
      "env": {
        "type": "keyword"
      }
    }
  }
}
PUT clientips/_bulk
{ "index" : {}}
{ "client.ip": "172.21.0.5", "env": "Development" }
{ "index" : {}}
{ "client.ip": "172.21.2.113", "env": "QA" }
{ "index" : {}}
{ "client.ip": "172.21.2.162", "env": "QA" }
{ "index" : {}}
{ "client.ip": "172.21.3.15", "env": "Production" }
{ "index" : {}}
{ "client.ip": "172.21.3.16", "env": "Production" }
PUT /_enrich/policy/clientip_policy
{
  "match": {
    "indices": "clientips",
    "match_field": "client.ip",
    "enrich_fields": ["env"]
  }
}
PUT /_enrich/policy/clientip_policy/_execute

创建并执行策略后，你可以将其与 ENRICH 命令一起使用：

FROM sample_data
| KEEP @timestamp, client.ip, event.duration
| EVAL client.ip = TO_STRING(client.ip)
| ENRICH clientip_policy ON client.ip WITH env

你可以在后续命令中使用 ENRICH 命令添加的新 env 列。 例如，要计算每个环境的中位持续时间：

FROM sample_data
| KEEP @timestamp, client.ip, event.duration
| EVAL client.ip = TO_STRING(client.ip)
| ENRICH clientip_policy ON client.ip WITH env
| STATS median_duration = MEDIAN(event.duration) BY env

有关使用 ES|QL 进行数据丰富的更多信息，请参阅 “ES|QL 中的数据丰富”。

处理数据

你的数据可能包含非结构化字符串，你希望将其结构化以便更轻松地分析数据。 例如，示例数据包含如下日志消息：

"Connected to 10.1.0.3"

通过从这些消息中提取 IP 地址，你可以确定哪个 IP 接受了最多的客户端连接。

要在查询时构建非结构化字符串，你可以使用 ES|QL DISSECT 和 GROK 命令。 DISSECT 的工作原理是使用基于分隔符的模式分解字符串。 GROK 的工作原理类似，但使用正则表达式。 这使得 GROK 更强大，但通常也更慢。

在这种情况下，不需要正则表达式，因为 message 很简单：“Connected to ”，后跟服务器 IP。 要匹配此字符串，你可以使用以下 DISSECT 命令：

FROM sample_data
| DISSECT message "Connected to %{server.ip}"

这会将 server.ip 列添加到具有与此模式匹配的消息的那些行。 对于其他行，server.ip 的值为空。

你可以在后续命令中使用 DISSECT 命令添加的新 server.ip 列。 例如，要确定每个服务器已接受多少个连接：

FROM sample_data
| WHERE STARTS_WITH(message, "Connected to")
| DISSECT message "Connected to %{server.ip}"
| STATS COUNT(*) BY server.ip

有关使用 ES|QL 进行数据处理的更多信息，请参阅使用 DISSECT 和 GROK 进行数据处理。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/145247.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

百望云携手华为发布金融信创与数电乐企联合方案 创新金融合规变革

百望云携手华为发布金融信创与数电乐企联合方案 创新金融合规变革

10月27日，北京发布《关于开展全面数字化的电子发票试点工作的公告》，自2023年11月01日起开展数电票试点。千呼万唤始出来，拉开了北京地区企业开展数电票试点的序幕。 百望云作为数电票行业翘楚，电子发票服务平台供应商&#xff0c…
阅读更多...
Java学习之路 —— API篇

Java学习之路 —— API篇

文章目录 前言Object类2. Objects类3. 包装类4. StringBuilder和StringBuffer5. StringJoiner6. Math7. System8. JDK8开始新增的日期、时间9. Arrays10. Lambda表达式11. 方法引用 前言 其实转语言来说，语法都比较简单，花个三天就会了，但最…
阅读更多...
【luckfox】2、添加lcd spi屏st7735和gc9306

【luckfox】2、添加lcd spi屏st7735和gc9306

前言 本章使用fbtft添加spi lcd st7735/gc9306。 fbtft生成fb0设备，后续通过lvgl可以实现自定义界面绘制。 代码参考 https://gitee.com/openLuat/LuatOS/blob/master/components/lcd/luat_lcd_gc9306x.c 硬件是合宙的，合宙esp32有支持，仿…
阅读更多...
Mistral 7B 比Llama 2更好的开源大模型 （二）

Mistral 7B 比Llama 2更好的开源大模型 （二）

Mistral 7B 论文学习 Mistral 7B 论文链接 https://arxiv.org/abs/2310.06825 代码: https://github.com/mistralai/mistral-src 网站: https://mistral.ai/news/announcing-mistral-7b/ 论文摘要 Mistral 7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。Mistral 7…
阅读更多...
外汇天眼：你的交易技术分析，为什么不赚钱？

外汇天眼：你的交易技术分析，为什么不赚钱？

众所周知，交易圈分为两个派别，一个是基本面分析派，另外一个就是技术分析派。 无论哪个派别都有成功的案例。 今天我们主要来说一下技术分析，市场中，用技术分析来做交易的人有很多，但并不是人人都赚钱&#…
阅读更多...
SELF-AUGMENTED MULTI-MODAL FEATURE EMBEDDING

SELF-AUGMENTED MULTI-MODAL FEATURE EMBEDDING

two embeddings f o r g _{org} org​ and f a u g _{aug} aug​ are combined using a gating mechanism 作者未提供代码
阅读更多...
RT-Thread系列10——ETH网口设备

RT-Thread系列10——ETH网口设备

文章目录 1. ETH测试第一步：cubemx配置。第二步：board.h配置。第三步：rtthread settings配置第四步：以太网复位引脚设置第五步：修改rtthread源码第六步：修改 cubemx 生成的 main 函数第七步：编译…
阅读更多...
救命！这套性能测试的实践痛点和解决方法真的绝了

救命！这套性能测试的实践痛点和解决方法真的绝了

昨天有同学找我咨询了一个性能测试相关的问题，他说： 他们公司的性能测试实践目前基本成为了形式主义，除了版本迭代时候的单系统单接口压测，没有其他亮点，领导也不重视。想做一些异常测试和高可用测试，体现自…
阅读更多...
C++ builder 常见问题汇总

C++ builder 常见问题汇总

1、CB静态编译设置 2、CB10.3设置经典编译器（用于解决10.3弹出代码提示慢） 3、CBuilder生成Release版本 ： project->Options->CCompiler->Build Configuration 选择 Release project->Options->CLinker中取消Use dynamic RTL…
阅读更多...
PP-YOLO: An Effective and Efficient Implementation of Object Detector（2020.8）

PP-YOLO: An Effective and Efficient Implementation of Object Detector（2020.8）

文章目录 Abstract1. Introduction先介绍了一堆前人的work自己的workexpect 2. Related Work先介绍别人的work与我们的区别 3.Method3.1. ArchitectureBackboneDetection NeckDetection Head 3.2. Selection of TricksLarger Batch SizeEMADropBlockIoULossIoU AwareGrid Sensi…
阅读更多...
python 随机密码生成器

python 随机密码生成器

最近在研究PySimpleGUI库，把之前写的一个随机密码生成器改成GUI版本发出来，有兴趣的兄弟们可以拿走。 因为能力有限，目前只能写生成一个随机密码的Gui版本，等我学了更多的内容再慢慢完善。 核心代码很简单，界面也很粗陋…
阅读更多...
2023年华为杯数学建模E题——代码复盘（第一问）

2023年华为杯数学建模E题——代码复盘（第一问）

2023年华为杯数学建模E题 代码复盘 写在最前面目录问题1a计算时间间隔思路说明代码输出结果 插值求解思路代码输出结果 绘图绘制3D图（待修改） 问题1b数据预处理思路代码 模型训练思路代码输出结果网格调参代码输出结果 写在最前面 超开心又有点遗憾 结果…
阅读更多...
Vue3 watch监视和watchEffect函数

Vue3 watch监视和watchEffect函数

Vue3 中的watch使用效果和Vue2 中配置watch配置项的使用效果是一致的。 使用watch监视之前，需要先对watch进行引入。 import {watch} from vue; 一、监视一个ref对象 以下情况只适用于监视一个ref对象。 watch(监视对象, (newValue, oldValue) > { // 监视操作…
阅读更多...
使用清华智谱ChatGLM2大模型搭建本地私有知识库

使用清华智谱ChatGLM2大模型搭建本地私有知识库

首先放上该方案项目的git地址：https://github.com/chatchat-space/Langchain-Chatchat 以下是我的搭建和踩坑经验记录 一、环境准备 1、python安装 在环境中安装python，我安装的是3.9版本的python，官方要求的是Python 3.8 - 3.10 版本。不知…
阅读更多...
Java学习之路 —— Day1（环境配置、变量）

Java学习之路 —— Day1（环境配置、变量）

文章目录 前言1. 搭建Java开发环境1.1 下载java1.2 JDK组成1.3 使用idea开发 2. java基本语法2.1 变量类型2.2 Scanner输入2.3 随机数2.4 数组 前言 已经好久没有写博客了，打开这个网站有一种熟悉又陌生的感觉。 前段时间一直在准备秋招，现在也告一段落…
阅读更多...
【C++代码】最接近的三数之和，括号生成，合并两个有序链表，合并 K 个升序链表

【C++代码】最接近的三数之和，括号生成，合并两个有序链表，合并 K 个升序链表

题目&#xff1a;最长公共前缀 编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀&#xff0c;返回空字符串 ""。 class Solution { public:string longestCommonPrefix(vector<string>& strs) {string res"";int index 0; f…
阅读更多...
专题知识点-二叉树-（非常有意义的一篇文章）

专题知识点-二叉树-（非常有意义的一篇文章）

这里写目录标题 二叉树的基础知识知识点一(二叉树性质 )树与二叉树的相互转换二叉树的遍历层次优先遍历树的深度和广度优先遍历中序线索二叉树二叉树相关遍历代码顺序存储和链式存储二叉树的遍历二叉树的相关例题左右两边表达式求值求树的深度找数找第k个数二叉树非递归遍历代码…
阅读更多...
Swift 警惕“隐式异步（implicitly asynchronous）”方法的执行陷阱

Swift 警惕“隐式异步（implicitly asynchronous）”方法的执行陷阱

概览 actor 是 Swift 5.5 中一个“不可思议”的新类型&#xff0c;可以把它看做成一个数据同步器。actor 中所有属性和方法都会被自动“串行”&#xff08;serializes&#xff09;访问和执行&#xff0c;从而有效避免了数据竞争的发生。 不过&#xff0c;在一些微妙的情境下使…
阅读更多...
笔记51：循环神经网络入门

笔记51：循环神经网络入门

本地笔记地址&#xff1a;D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\循环神经网络 a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a
阅读更多...
29.第三方登录

29.第三方登录

1►第三方登录 当今社会&#xff0c;微信登录、QQ登录、抖音登录等等三方登录已经层出不穷&#xff0c;学会三方登录势在必行。 微信登录要认证开发者&#xff0c;必须为企业&#xff0c;个人不行&#xff0c;而且还要交300块钱。 QQ登录也要申请、微博登录也要申请。 还好…
阅读更多...
最新文章

Copyright @ 2022~2023