Elasticsarch：使用全文搜索在 ES|QL 中进行过滤

Elasticsarch：使用全文搜索在 ES|QL 中进行过滤 - 8.17

8.17 在 ES|QL 中引入了 match 和 qstr 函数，可用于执行全文过滤。本文介绍了它们的作用、使用方法、与现有文本过滤方法的区别、当前的限制以及未来的改进。

ES|QL 现在包含全文函数，可用于使用文本查询过滤数据。我们将回顾可用的文本过滤方法，并了解为什么这些函数提供了更好的替代方案。我们还将研究 ES|QL 中全文函数的未来改进。

使用 ES|QL 过滤文本

日志中的文本数据对于理解、监控和排除系统和应用程序故障至关重要。文本的非结构化性质允许灵活地捕获各种信息。

由于是非结构化的，我们需要隔离特定模式、关键字或短语的方法。无论是搜索错误消息、使用标签缩小结果范围，还是查找特定主机名，都是我们一直在做的事情，以优化我们的结果并最终获得我们正在寻找的信息。

ES|QL 提供了不同的方法来帮助你处理文本。Elasticsearch 8.17 添加了全文函数 match 和 qstr，以帮助解决更复杂的搜索用例。

文本过滤的局限性

ES|QL 已经提供了文本过滤功能，包括：

文本相等，使用相等运算符直接比较完整字符串。
字符串开始和结束，使用 STARTS_WITH 和 ENDS_WITH 函数。
使用 LIKE 和 RLIKE 运算符进行模式和正则表达式匹配。

文本过滤很有用 - 但它在面向文本的用例中可能会有所不足：

多值字段

将 ES|QL 函数与多值字段结合使用可能比较棘手 - 函数在应用于多值字段时会返回 null。

如果你需要将函数应用于多值字段，则首先需要使用 MV_CONCAT 将值转换为单个值，以便可以匹配单个值：

FROM logs
| EVAL all_tags = MV_CONCAT(tags)
| WHERE all_tags == "production"

分析文本

分析器对于全文搜索非常有用，因为它们允许转换文本。它们允许我们提取和修改索引文本，并修改查询，以便我们最大限度地找到我们正在寻找的内容。

使用文本过滤时不会分析文本。这意味着例如，你需要在搜索时匹配文本大小写，或者创建解决可能的大小写差异的正则表达式/模式。

在查找多语言文本（因此你不能使用 ASCII folding）、尝试匹配路径的部分（path hierarchy）或删除停用词（stopwords）时，这可能会变得更加成问题。

性能

模式匹配和正则表达式需要时间。Lucene 可以通过创建有限自动机来使用索引术语词典进行匹配，从而完成大量繁重的工作，但这仍然是一个计算密集型过程。

正如你在我们 8.17 版本博客中看到的那样，使用正则表达式进行文本过滤的速度可能比使用全文函数慢 50-1000 倍，具体取决于你的数据集。

进入全文函数

Elasticsearch 8.17 和 Serverless 引入了两个用于文本匹配的新函数：MATCH 和查询字符串（缩写为 QSTR）。

这些函数解决了文本过滤的一些限制：

它们可以直接用于多值字段。当多值字段中的任何值与查询匹配时，它们将返回结果。
它们使用文本字段的分析器。将使用目标字段的任何现有分析器分析查询，这将允许匹配而不考虑大小写。这还可以解锁 ASCII folding、删除停用词，甚至使用同义词。
它们性能卓越。它们可以直接使用 Lucene 索引结构来定位数据中的特定术语，而不是依赖模式匹配或正则表达式。

MATCH 函数

MATCH 允许匹配特定字段上的值：

FROM logs
| WHERE match(message, "connection lost")

Match 函数在底层使用 match query。这意味着当使用多个术语时，它将创建一个布尔查询，并使用 OR 作为组合它们的默认运算符。

Match 函数目前有一些限制：

它不提供指定参数的方法。它将使用匹配查询的默认值。
它只能在 WHERE 子句中使用。
它不能在 STATS 或 LIMIT 命令之后使用

8.17 版本存在以下限制：

只有 text 或 keyword 字段可以与 MATCH 一起使用。
MATCH 可以与其他条件组合作为 AND 表达式的一部分，但不能作为 OR 表达式的一部分。可以使用 WHERE match(message, "connection lost") AND length(message) > 10，但不能使用 WHERE match(message, "connection lost") OR length(message) > 10。

我们正在积极努力解除这些限制，以便你可以充分利用 MATCH 的全部功能。你可以查看 Elastic Cloud Serverless 中的进度，它会不断更新我们的新工作。以下是针对上述限制的 serverless 当前状态：

MATCH 几乎可以与任何字段类型一起使用，并自动将字符串值转换为任何类型。
当条件的所有元素都是全文函数时，MATCH 和全文函数允许使用 OR 条件

查看最新文档以了解无服务器上 MATCH 的状态。

匹配运算符

匹配运算符 (:) 相当于上面的匹配函数，但它提供了更简洁的语法：

FROM logs
| WHERE message:"connection lost"

使用 match 运算符更方便，但你可以使用对你更有意义的任何运算符。

match 运算符具有与 match 函数相同的限制。

查询字符串函数

查询字符串函数 (QSTR) 使用查询字符串语法对一个或多个字段执行复杂查询：

FROM logs
| WHERE qstr("message: 'connection lost' AND tags:'production'")

查询字符串语法允许指定强大的全文选项和操作，包括模糊搜索、邻近搜索（proximity searches）和布尔运算符（boolean operators）的使用。有关更多详细信息，请参阅文档。

查询字符串是一个非常强大的工具，但目前有一些限制，与 MATCH 函数非常相似：

它不提供指定参数（如 match type）或指定要搜索的 default fields 的方法。
它只能在 WHERE 子句中使用。
它不能在 STATS 或 LIMIT 命令之后使用
它不能在修改列的命令之后使用，例如 SHOW、ROW、DISSECT、DROP、ENRICH、EVAL、GROK、KEEP、MV_EXPAND 或 RENAME

与 MATCH 函数类似，我们对 OR 条件有一个限制。QSTR 可以作为 AND 表达式的一部分与其他条件组合，但不能作为 OR 表达式的一部分。可以使用 WHERE qstr("message: 'connection lost'") AND length(message) > 10，但不能使用 WHERE qstr("message: 'connection lost'") OR length(message) > 10。

当条件的所有元素都是全文函数时，Elastic Cloud Serverless 允许使用 OR 条件。请查看最新文档，了解 QSTR 在 Serverless 上的状态。