ElasticSearch之倒排索引

写在前面

本文看下es的倒排索引相关内容。

1：正排索引和倒排索引

正排索引就是通过文档id找文档内容，而倒排索引就是通过文档内容找文档id，如下图：
在这里插入图片描述

2：倒排索引原理

假定我们有如下的数据：
在这里插入图片描述
为了建立倒排索引，我们需要先对文档进行分词，如下：
在这里插入图片描述
分词后每一个词有一个专门的名词来表示，叫做Term，term就是我们要搜索的目标，但是找到了term并不能找到文档，为了找到文档，每一个term对应一个[<文档id，偏移量,出现次数>]的数组，这个数组我们叫做Posting List，其中每个term对应一个Posing List，如下图：
在这里插入图片描述
为了方便查找term，term+Posing List组合在字典的数据结构，叫做Term Dictionary，(注意term是排好序的，所以可以顺序查找，后面会用到！！！)，如下图：
在这里插入图片描述
这样，当我们搜索Elasticsearch,可以通过Term Disctionary，查到对应的term，然后通过term就可以找到对应的PosingList，就找到文档了，这个过程如下:
在这里插入图片描述
但，实际上我们搜索的关键词，是没有办法直接按照上述流程找到term的，因为term dictionary比较大，是保存在磁盘上的，直接基于磁盘查找，速度就可想而知了，所以，es还设计了另外一种数据结果term index，用来在内存中保存关键词对应的term磁盘页位置，term index是一种基于trie tree的数据结构，大概如下图：
在这里插入图片描述
其中红色的就是位置信息，但是注意在term index中只会存储前缀，所以可以定位到一个大概的位置，而因为term是顺序存储的，所以可以顺序读盘，找到目标term，这里我们简单的以直接定位到term为例看下这个过程：
在这里插入图片描述
最后，es为了能够将term index存储在内存中，还是用了FST的算法，来压缩空间。则最终查找过程就如下图了：
在这里插入图片描述

以上过程分词是及其重要的一个环节，所以我们接下来也来看下分词相关的内容。

3：分词

3.1：什么是分词和分词器

分词：analysis，即将一句话分为多个词（term）的过程。

分词器：analyzer，完成分词这个操作的工具。

如下图：

在这里插入图片描述

所以，分词是个动词，分词器是个名词。

分词器在我们写入数据构建倒排索引的时候会用到，在输入一句话进行搜索的时候也会用到。

3.2:分词器的工作原理

一个标准的分词器由以下三部分组成：

Charancter Filters:对原始的内容进行处理，如删除html字符，等
Tokenizer:按照某种规则切分为一组单词（term），这部分功能不仅每种分词器都有，而且还可能包含Token Filters的功能（可以看作是分词器的非标准实现）
Token Filters：对切分后的次进行处理，如转小写，删除停用词等

如下简单例子：
在这里插入图片描述

注意这只是一个标准的分词器需要具备的三个部分，但除了Tokennizer必须提供具体的实现外，Chracter Filters和Token Filters并不是必须提供实现的。

3.3:分词器都有哪些

在这里插入图片描述
为了方便你我们查看不同的分词效果，es提供了_analysis 的rest api，如下：
在这里插入图片描述

3.3.1：Standard Analyzer

默认分词器，标准分词器三部分提供如下:

charanter Filters:无
Tokennizer：按词切分，就是按照空格切分吧
Token Filters:小写处理

如下图:
在这里插入图片描述
首先，我们来看下standard analyzer的执行效果：
在这里插入图片描述
可以看到只是空格划分后转小写了。
如果我们想要启动token fitlers中的停用词该怎么办呢？可以这样，我们来自定义一个分词器，并指定配置，因为在es中自定义分词需要定义在索引下，所以我们需要指定索引来创建（其实就是设置索引的setting）,如下：

PUT standard_analyzer_token_length_conf1_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "english_1analyzer":{
          "type":"standard",
          "max_token_length":5,
          "stopwords":"_english_"
        }
      }
    }
  }
}

在这里插入图片描述
在索引standard_analyzer_token_length_conf1_index中我们定义了一个名称为english_1analyzer的自定义索引，其中的配置项如下:

"type":"standard",
    基于standard分词器
"max_token_length":5,
    token最大长度为5，即如果term长度大于5则回分为2个，如ABCDEFGHI，会分为ABCDE和FGHI
"stopwords":"_english_"
    使用标准的eglish停用词语，也可以通过stopwords_path来指定停用词

测试如下：
在这里插入图片描述
可以看到is a这些就没了，并且每个term的最大长度是5，超过5的也被分成了多个。

3.3.2：Simple Analyzer

简单分词器，标准分词器三部分提供如下:

Charanter filters:不提供实现
Tokennizer：按照非字母进行切分（可对比standard分词器只按照空格进行切分），然后还抢了本该属于Token Filters的活，会转小写
Token filters：不提供实现

在这里插入图片描述
测试如下：
在这里插入图片描述

3.3.3：White space Analyzer

空格分词器，标准分词器三部分提供如下：

Character Filters:不提供实现
Tokenizer：按照空格切分（简单粗暴）
Token Filters:不提供实现

v
测试如下：
在这里插入图片描述

3.3.4：stop anylizer

停用词分词器，标准分词器三部分提供如下：

Character Filters:不提供实现
Tokenizer：按照空格切分
Token Filters:删除is,a等修饰词

可以看到相比于simple analyzer，只是多了tokenfilters的删除修饰词功能。
在这里插入图片描述
测试如下：
在这里插入图片描述

3.3.5：keyword anylizer

关键词分词器，标准分词器三部分提供如下：

Charater Fitlers:不提供实现
Tokennizer：原样输出，也是一种特殊的分割，不是嘛！！！
Token Filters：不提供实现

在这里插入图片描述
测试如下：
在这里插入图片描述

3.3.6：Pattern anylizer

模式分词器，标准分词器三部分提供如下：

Character Fiters:不提供实现
Tokennizer：默认按照\W+进行分割，即按照[0－9a-zA-Z_]之外的字符进行分割
Token Fiters:转小写，以及停用词

在这里插入图片描述
测试如下：
在这里插入图片描述

3.3.7：language anylizer

这并不是一个分词器，而是一组分词器，一组针对特定语言的分词器，支持语言如下：
在这里插入图片描述
以english为例看下，其token filters还会将一些特定语态的单词变为正常的，如xxxIng变为xxx,如：
在这里插入图片描述

3.3.8：中文分词

因为中华文字，博大精深，变化多端，所以分词的难度相当之大，具体点如下：
在这里插入图片描述
为了测试中文分词我们可以来自定义一个安装了ik插件的新镜像，参考docker自定义镜像并使用 。只需要将docker-compose中的es imga改成我们自己定义的就可以测试了，如：
在这里插入图片描述

3.3.9：自定义分词器

https://blog.csdn.net/weixin_28906733/article/details/106610972 如果希望自定义一个与standard类似的analyzer,只需要在原定义

  • 自定义一个与standard类似的analyzer
    先再来看下standard分词器：
charanter Filters:无
Tokennizer：按词切分，就是按照空格切分吧
Token Filters:小写处理

定义和使用：

//测试自定义analyzer
PUT custom_rebuild_standard_analyzer_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "rebuild_analyzer":{
          "type":"custom",
          "tokenizer":"standard",
          "filter":["lowercase"]
        }
      }
    }
  }
}

//测试请求参数
POST custom_rebuild_standard_analyzer_index/_analyze
{
  "text": "transimission control protocol is a transport layer protocol"
}
  • 自定义一个与simple类似的analyzer
    先再来看下simple分词器：
Charanter filters:不提供实现
Tokennizer：按照非字母进行切分（可对比standard分词器只按照空格进行切分），然后还抢了本该属于Token Filters的活，会转小写
Token filters：不提供实现

测试和使用：

//测试自定义analyzer
PUT custom_rebuild_simple_analyzer_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "rebuild_simple":{
          "tokenizer":"lowercase",
          "filter":[]
        }
      }
    }
  }
}

//测试请求参数
POST custom_rebuild_simple_analyzer_index/_analyze
{
  "text": "transimission control protocol is a transport layer protocol"
}

写在后面

参考文章列表

Elasticsearch 学习笔记

Elasticsearch是如何做到快速索引的

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/380135.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

SpringCloud-高级篇（十九）

SpringCloud-高级篇（十九）

我们已经学过使用 SpringAMQP去收和发消息&#xff0c;但是发和收消息是只是MQ最基本的功能了&#xff0c;在收发消息的过程中&#xff0c;会有很多的问题需要去解决&#xff0c;下面需要学习rabbitMQ的高级特性去解决 死信交换机&#xff1a;这个可以帮助我们实现消息的延迟的…
阅读更多...
深入了解Elasticsearch索引生命周期管理

深入了解Elasticsearch索引生命周期管理

在今天的数据驱动世界中&#xff0c;Elasticsearch因其强大的搜索和分析能力而受到许多企业和开发者的青睐。随着数据量的不断增长&#xff0c;如何高效地管理这些数据成为了一个挑战。Elasticsearch索引生命周期管理&#xff08;ILM&#xff09;就是为解决这一问题而设计的。本…
阅读更多...
[HTTP协议]应用层的HTTP 协议介绍

[HTTP协议]应用层的HTTP 协议介绍

目录 1.前言 2.使用fiddler抓包来观察HTTP协议格式 3.HTTP协议的基本格式 2.1请求 2,1.1首行 2.1.2请求头 2.1.3空行 2.2响应 2.2.1首行 2.2.2响应头 键值对 ​编辑2.2.3空行 2.2.4载荷(响应正文) 3.认识URL 3.1关于URL encode 1.前言 我们在前面的博客中,简单的…
阅读更多...
c#cad 创建-圆（二）

c#cad 创建-圆（二）

运行环境 vs2022 c# cad2016 调试成功 一、代码说明 这段代码是一个AutoCAD插件&#xff0c;用于在模型空间中创建一个圆形。 首先&#xff0c;我们需要定义一个命令类CreateCircleCommand&#xff0c;并在命名空间CreateCircleInCad中声明。 在CreateCircleCommand类中&a…
阅读更多...
TCP/IP协议以及UDP(超详细,看这一篇就够了)

TCP/IP协议以及UDP(超详细,看这一篇就够了)

&#x1f493; 博客主页&#xff1a;从零开始的-CodeNinja之路 ⏩ 收录专栏&#xff1a;TCP/IP协议以及UDP(超详细,看这一篇就够了) &#x1f389;欢迎大家点赞&#x1f44d;评论&#x1f4dd;收藏⭐文章 TCP/IP协议以及UDP(超详细,看这一篇就够了 前提概括接收端和发送端客户…
阅读更多...
004集—二调数据库标注分子分母模式及统计净面积——arcgis

004集—二调数据库标注分子分母模式及统计净面积——arcgis

二调数据库中分子分母标注方法为&#xff1a; 表达式如下&#xff1a; "<und>"& [TBBH] &"</und>" &vbnewline& [DLBM] "<und>"&[DLBM]&"</und>" &vbnewline& [DLMC] &quo…
阅读更多...
IT行业有哪些证书含金量高呢？

IT行业有哪些证书含金量高呢？

目录 引言&#xff1a; 一、 计算机网络类证书 二、 数据库管理类证书 三、 安全与信息技术管理类证书 四、 编程与开发类证书 五、 数据科学与人工智能类证书 六、结论&#xff1a; 悟已往之不谏&#xff0c;知来者犹可追 …
阅读更多...
从一到无穷大 #23 《流计算系统图解》书评

从一到无穷大 #23 《流计算系统图解》书评

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 本作品 (李兆龙 博文, 由 李兆龙 创作)&#xff0c;由 李兆龙 确认&#xff0c;转载请注明版权。 文章目录 引言内容总结 引言 春节假期回到家里断然是不会有看纸质书的时间的。造化弄人&#…
阅读更多...
Redis核心技术与实战【学习笔记】 - 20.Redis原子操作及并发访问

Redis核心技术与实战【学习笔记】 - 20.Redis原子操作及并发访问

概述 使用 Redis 时&#xff0c;不可避免地会遇到并发访问的问题&#xff0c;比如说如果多个用户同时下单&#xff0c;就会对缓存在 Redis 中的商品库存并发更新。一旦有了并发写操作&#xff0c;数据就会被修改&#xff0c;如果我们没有对并发写请求做好控制&#xff0c;就可…
阅读更多...
【计算机网络】计算机网络复习资料（期末）

【计算机网络】计算机网络复习资料（期末）

复习要点 一、填空题 1.计算机网络的两个重要基本特点 连通性、共享 2&#xff0e;计算机中的端口号类型 两类端口号 { 服务器端 { 熟知端口号&#xff08;系统端口号&#xff09;数值为0~1023 登记端口号&#xff0c;1024~49151 } 客户端使用的端口号&#xff1a;短…
阅读更多...
Mac如何安装python？

Mac如何安装python？

一、问题 Mac如何安装python&#xff1f; 二、解决 1、系统自带python Mac系统均自带Python环境&#xff0c;用户在终端输入“python3”命令就可以运行&#xff0c;如图所示 2、官网下载 Download Python | Python.org &#xff08;1&#xff09;在Download下找到macOS &am…
阅读更多...
Android Studio中打开文件管理器

Android Studio中打开文件管理器

文章目录 一、前言二、操作步骤 一、前言 在Android Studio中有时候需要查看手机的文件目录或者复制文件&#xff0c;但是有时候文件管理器找不到在哪&#xff0c;这里记录该操作流程 二、操作步骤 第一步: 第二步: 第三步:
阅读更多...
Mysql——更新数据

Mysql——更新数据

注&#xff1a;文章参考&#xff1a; MySQL 更新数据 不同条件(批量)更新不同值_update批量更新同一列不同值-CSDN博客文章浏览阅读2w次&#xff0c;点赞20次&#xff0c;收藏70次。一般在更新时会遇到以下场景&#xff1a;1.全部更新&#xff1b;2.根据条件更新字段中的某部分…
阅读更多...
flutter使用webview_flutter在安卓和ios上打开网页

flutter使用webview_flutter在安卓和ios上打开网页

webview_flutter仓库地址&#xff1a;webview_flutter | Flutter package github地址&#xff1a;https://github.com/flutter/packages/tree/main/packages/webview_flutter/webview_flutter 要打开非https协议的网页&#xff0c;需要在安卓平台上添加权限&#xff1a;andro…
阅读更多...
JAVA设计模式之原型模式详解

JAVA设计模式之原型模式详解

原型模式 1 原型模式介绍 定义: 原型模式(Prototype Design Pattern)用一个已经创建的实例作为原型&#xff0c;通过复制该原型对象来创建一个和原型对象相同的新对象。 西游记中的孙悟空 拔毛变小猴,孙悟空这种根据自己的形状复制出多个身外化身的技巧,在面向对象软件设计领…
阅读更多...
Java图形化界面编程—— 基本组件和对话框 笔记

Java图形化界面编程—— 基本组件和对话框 笔记

2.5 AWT中常用组件 2.5.1 基本组件 组件名功能ButtonButtonCanvas用于绘图的画布Checkbox复选框组件&#xff08;也可当做单选框组件使用&#xff09;CheckboxGroup选项组&#xff0c;用于将多个Checkbox 组件组合成一组&#xff0c; 一组 Checkbox 组件将只有一个可以 被选中…
阅读更多...
Springboot+vue的社区养老服务平台（有报告）。Javaee项目，springboot vue前后端分离项目

Springboot+vue的社区养老服务平台（有报告）。Javaee项目，springboot vue前后端分离项目

演示视频&#xff1a; Springbootvue的社区养老服务平台&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot vue前后端分离项目 项目介绍&#xff1a; 本文设计了一个基于Springbootvue的前后端分离的社区养老服务平台&#xff0c;采用M&#xff08;model&…
阅读更多...
Vue 条件渲染 双向绑定

Vue 条件渲染 双向绑定

https://www.dedao.cn/ebook/reader?id5lZOKpMGr9mgdOvYa6Ej75XRo1NML3jx810k8ZVzb2nqPpDxBeJlK4AyQ8RPQv2z v-if实现条件渲染的功能。v-model实现双向数据传输。 v-model用来进行双向绑定&#xff0c;当输入框中的文字变化时&#xff0c;其会将变化同步到绑定的变量上&#…
阅读更多...
华为机考入门python3--（9）牛客9-提取不重复的整数

华为机考入门python3--（9）牛客9-提取不重复的整数

分类&#xff1a;列表 知识点&#xff1a; 从右往左遍历每一个字符 my_str[::-1] 题目来自【牛客】 def reverse_unique(n): # 将输入的整数转换为字符串&#xff0c;这样可以从右向左遍历每一位 str_n str(n) # 创建一个空列表来保存不重复的数字 unique_digits []…
阅读更多...
ChatGPT高效提问—prompt常见用法（续篇六）

ChatGPT高效提问—prompt常见用法（续篇六）

ChatGPT高效提问—prompt常见用法&#xff08;续篇六&#xff09; 1.1 控制输出 ​ 控制输出是一种先进的自然语言处理技术&#xff0c;其能够在AI模型生成文本的过程中实现更高级别的控制。通过提供特定的输入&#xff0c;如模板、特定词语或约束性条件&#xff0c;从而精准…
阅读更多...
最新文章

Copyright @ 2022~2023