ES入门十四：分词器

我们存储到ES中数据大致分为以下两种：

  1. 全文本，例如文章内容、通知内容
  2. 精确值，如实体Id

在对这两类值进行查询的时候，精确值类型会比较它们的二进制，其结果只有相等或者不想等。而对全文本类型进行等值比较是不太实现的，一般我们只会比较两个文本是否相似。根据上一讲的内容我们知道，要比较两个文本类型是否相似，使用相关性评分来评估的。而要得到相关性评分，我们就需要对全文本进行分词处理，然后得到统计数据才能进行评估

在es中，负责处理文本分词的是分词器，本文我们就来学习ES中分词器的组成和部分分词器的特性。

分词（Analysis）与分词器

分词是将全文本转换为一系列单词的过程，这些单词称为term或者token，而这个过程称为分词。
分词是通过**分词器（Analyzer）来实现的，**比如用于中文分词的IK分词器等。当然你也可以实现自己的分词器，例如可以简单将全文本以空格来实现分词。ES内置来一些常用的分词器，如果不能满足你的需求，你可以安装第三方的分词器或者定制化你自己的分词器。

**除了在写入的时候对数据进行分词，在对全文本进行查询的时候也需要使用相同的分词器对检索内存进行分析。例如，**查询Java Book的时候会分为java 和book两个单词，如下如所示：
image.png

分词器的组成

分词器主要由 3 部分组成。

  • Character Filter：注意对原文本进行格式处理，比如去除html标签
  • Tokenizer：按照指定规则对文本进行切分，比如按空格来切分单词，同时页负责标记出每个单词的顺序、位置以及单词在原文本中开始和结束的偏移量
  • Token Filter：对切分后的单词进行处理，如转换为小写、删除停顿词、增加同义词、词干化等

如下图就是分词器工作的流程，需要进行分词的文本依次通过Character Filter、Tokenizer、Token Filter，最后得出切分后的词项：
image.png

ES内置的分词器

为了方便用户使用，Es为用户提供了多个内置的分词器，常见的有以下8种。

  • Standard Analyzer：这个是默认的分词器，使用Unicode文本分割算法，将文本按单词切分并且转换为小写
  • Simple Analyzer：按照非字母切分并且进行小写处理
  • Stop Analyzer：与 Simple Analyzer 类似，但增加了停用词过滤（如 a、an、and、are、as、at、be、but 等）。
  • Whitespace Analyzer：使用空格对文本进行切分，并不进行小写转换
  • Pattern n Analyzer；使用正则表达式切分，默认使用 \W+ (非字符分隔)。支持小写转换和停用词删除。
  • Keyword Analyzer：不进行分词
  • Language Analyzer：提供了多种常见语言的分词器。如 Irish、Italian、Latvian 等。
  • Customer Analyzer：自定义分词器

下面我们通过讲解Standard Analyzer来进一步熟悉分词器的工作流程，但在这之前我要先介绍一个Es提供的API：_analyze。
_analyze Api是一个非常有用的工具，它可以帮助我们查看分词器是如何工作的。_analyze API 提供了 3 种方式来查看分词器是如何工作的。

  1. 使用 _analyze API 时可以直接指定 Analyzer 来进行测试，示例如下：
GET _analyze
{
  "analyzer": "standard",
  "text": "Your cluster could be accessible to anyone."
}

# 结果
{
  "tokens": [
    {
      "token": "your",
      "start_offset": 0,
      "end_offset": 4,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "cluster",
      "start_offset": 5,
      "end_offset": 12,
      "type": "<ALPHANUM>",
      "position": 1
    }
    ......
  ]
}

如上示例，在这段代码中我们可以看到它将text的内容用standard分词器进行分词，text的内容按单词进行了切分并且your转为了小写。

  1. 对指定的索引进行测试，示例如下：
# 创建和设置索引
PUT my-index
{
  "mappings": {
    "properties": {
      "my_text": {
        "type": "text",
        "analyzer": "standard"  # my_text字段使用了standard分词器
      }
    }
  }
}

GET my-index/_analyze 
{
  "field": "my_text", # 直接使用my_text字段已经设置的分词器
  "text":  "Is this déjà vu?"
}

# 结果：
{
  "tokens": [
    {
      "token": "is",
      "start_offset": 0,
      "end_offset": 2,
      "type": "<ALPHANUM>",
      "position": 0
    },
    ......
  ]
}
  1. 组合 tokenizer、filters、character filters 进行测试，示例如下：
GET _analyze 
{
  "tokenizer": "standard", # 指定一个tokenizer
  "filter":  [ "lowercase", "asciifolding" ], # 可以组合多个token filter
  # "char_filter":"html_strip", 可以指定零个Character Filter
  "text": "java app"
}

从上面的示例可以看到，tokenizer使用了standard而token filter使用了lowercase和ascillfolding来对text的内容进行切分。用户可以组合一个tokenizer、零个或者多个token filter、零个或者多个character filter。

Standard Analyzer

Standard Analyzer 是 ES 默认的分词器，它会将输入的内容按词切分，并且将切分后的词进行小写转换，默认情况下停用词（Stop Word）过滤功能是关闭的。
image.png
可以试一下下面这个例子：

GET _analyze
{
  "analyzer": "standard", # 设定分词器为 standard
  "text": "Your cluster could be accessible to anyone."
}

# 结果
{
  "tokens": [
    {
      "token": "your",
      "start_offset": 0,
      "end_offset": 4,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "cluster",
      "start_offset": 5,
      "end_offset": 12,
      "type": "<ALPHANUM>",
      "position": 1
    } 
    ......
  ]
}

如上示例，从其结果中可以看出，单词You做了小写转换，停用词be没有被去掉，并且返回结果里记录了这个单词在原文本中的开始偏移量、结束偏移以及这个词出现的位置

自定义分词器

除了使用内置的分词器外，我们还可以通过组合 Tokenizer、Filters、Character Filters 来自定义分词器。其用例如下：

PUT my-index-001
{
  "settings": {
    "analysis": {
      "char_filter": { # 自定义char_filter
        "and_char_filter": {
          "type": "mapping",
          "mappings": ["& => and"] # 将 '&' 转换为 'and'
        }
      },
      "filter": { # 自定义 filter
        "an_stop_filter": {
          "type": "stop",
          "stopwords": ["an"] # 设置 "an" 为停用词
        }
      },
      "analyzer": { # 自定义分词器为 custom_analyzer
        "custom_analyzer": {
          "type": "custom",
          # 使用内置的html标签过滤和自定义的my_char_filter
          "char_filter": ["html_strip", "and_char_filter"],
          "tokenizer": "standard",
          # 使用内置的lowercase filter和自定义的my_filter
          "filter": ["lowercase", "an_stop_filter"]
        }
      }
    }
  }
}

GET my-index-001/_analyze
{
  "analyzer": "custom_analyzer",
  "text": "Tom & Gogo bought an orange <span> at an orange shop"
}

你可以在 Kibana 中运行上述的语句并且查看结果是否符合预期，Tom 和 Gogo 将会变成小写，而 & 会转为 and，an 这个停用词和这个 html 标签将会被处理掉，但 at 不会。
ES 的内置分词器可以很方便地处理英文字符，但对于中文却并不那么好使，一般我们需要依赖第三方的分词器插件才能满足日常需求。

中文分词器

中文分词不像英文分词那样可以简单地以空格来分隔，而是要分成有含义的词汇，但相同的词汇在不同的语境下有不同的含义。社区中有很多优秀的分词器，这里列出几个日常用得比较多的。

  • analysis-icu是官方的插件，其将Lucene ICU module融入到es中。使用ICU函数库来处理提供处理Unicode的工具
  • IK：支持自定义词典和词典热更新
  • THULAC：其安装和使用官方文档中有详细的说明，本文就不再赘述了

analysis-icu分词器

analysis-icu 是官方的插件，项目在这里。ICU 的安装如下：

# 进入脚本目录，参见ES 简介和安装一节我们把es安装在ES/es_node1

# 有3个节点的需要分别进入3个节点目录进行安装 ！！！！！

cd ES/es_node1

bin/elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-icu/analysis-icu-7.13.0.zip

# 如果安装出错，并且提示你没有权限，请加上sudo：

sudo bin/elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-icu/analysis-icu-7.13.0.zip

ICU 的用例如下：

POST _analyze
{  
    "analyzer": "icu_analyzer",
    "text": "Linus 在90年代开发出了linux操作系统"  
}

# 结果
{
  "tokens" : [
    ......
    {
      "token" : "开发",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    },
    {
      "token" : "出了",
      "start_offset" : 13,
      "end_offset" : 15,
      "type" : "<IDEOGRAPHIC>",
      "position" : 5
    },
    {
      "token" : "linux",
      "start_offset" : 15,
      "end_offset" : 20,
      "type" : "<ALPHANUM>",
      "position" : 6
    }
    ......
  ]
}

通过在 Kibana 上运行上述查询语句，可以看到结果与 Standard Analyzer 是不一样的，同样你可以将得出的结果和下面的 IK 分词器做一下对比，看看哪款分词器更适合你的业务。更详细的 ICU 使用文档可以查看：ICU 文档

IK分词器

IK 的算法是基于词典的，其支持自定义词典和词典热更新。下面来安装 IK 分词器插件：

# 有3个节点的需要分别进入3个节点目录进行安装 ！！！！！

cd ES/es_node1

# 如果因为没有权限而安装失败的话，使用sudo ./bin/elasticsearch-plugin install url 来安装

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.13.0/elasticsearch-analysis-ik-7.13.0.zip

在每个节点执行完上述指令后，需要重启服务才能使插件生效。重启后，可以在 Kibana 中测试一下 IK 中文分词器的效果了。

POST _analyze
{  
    "analyzer": "ik_max_word",
    "text": "Linus 在90年代开发出了linux操作系统"  
}

POST _analyze
{  
    "analyzer": "ik_smart",
    "text": "Linus 在90年代开发出了linux操作系统"  
}

如上示例可以看到，IK 有两种模式：ik_max_word 和 ik_smart，它们的区别可总结为如下（以下是 IK 项目的原文）。

  • ik_max_word： 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、人、民、共和国、共和、和、国国、国歌”，会穷尽各种可能的组合，适合 Term Query。
  • ik_smart： 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国、国歌”，适合 Phrase 查询。

关于 IK 分词器插件更详细的使用信息，你可以参考 IK 项目的文档。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/525216.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

适用于 Windows 10 的 10 大免费数据恢复软件

适用于 Windows 10 的 10 大免费数据恢复软件

数据丢失可能是一场噩梦&#xff0c;尤其是在涉及重要文件和文档时。无论是由于意外删除、系统崩溃还是病毒攻击&#xff0c;找到适合 Windows 10 的文件夹恢复软件都可以在恢复丢失的数据方面发挥重要作用。在本指南中&#xff0c;我们将探索适用于 Windows 10 用户的 10 大免…
阅读更多...
【数字IC/FPGA】什么是无符号数？什么是有符号数？

【数字IC/FPGA】什么是无符号数？什么是有符号数？

进制 虽然在日常生活中&#xff0c;我们已经习惯了使用10进制数字&#xff0c;但在由数字电路构成的数字世界中&#xff0c;2进制才是效率更高的选择。 10进制与2进制 10进制&#xff08;decimal&#xff09;计数法&#xff08;一般也叫阿拉伯计数法&#xff09;是在日常生活…
阅读更多...
优优嗨聚集团：个人债务，危险的边缘舞者

优优嗨聚集团：个人债务，危险的边缘舞者

在现代社会&#xff0c;个人债务已成为一个不容忽视的现象。随着消费水平的提高和信贷市场的繁荣&#xff0c;越来越多的人选择通过借贷来满足生活或投资的需求。然而&#xff0c;个人债务如同一把双刃剑&#xff0c;既能助力我们实现梦想&#xff0c;也可能让我们陷入困境。那…
阅读更多...
SiteServer 学习笔记 Day06 添加栏目名称

SiteServer 学习笔记 Day06 添加栏目名称

1、在关于我们栏目中添加ISO认证和系统、质量声明、以客户为中心。 2、在市场服务栏目中添加电信和网络、医疗系统、清洁技术、计算和存储。 3、在制造服务拉姆中添加PCB组装、塑料成型服务、机器制造。 4、在测试服务栏目中添加测试开发、功能测试。 5、在工程服务栏目中添…
阅读更多...
PTA(题目集二 题目 代码 C++)

PTA(题目集二 题目 代码 C++)

目录 题目一&#xff1a; 代码&#xff1a; 题目二&#xff1a; 代码&#xff1a; 题目三&#xff1a; 代码&#xff1a; 题目四&#xff1a; 代码&#xff1a; 题目五&#xff1a; 代码&#xff1a; 题目六&#xff1a; 代码&#xff1a; 题目七&#xff1a; 代…
阅读更多...
《从零开始学架构》读书笔记（一）

《从零开始学架构》读书笔记（一）

目录 软件架构设计产生的历史背景 软件架构设计的目的 系统复杂度来源 追求高性能 一、单机高性能 二、集群的高性能 追求高可用 一、计算高可用 二、存储高可用 追求可扩展性 一、预测变化 二、应对变化 追求安全、低成本、规模 一、安全 二、低成本 三、规模…
阅读更多...
使用 Python 的 LSTM 进行股市预测

使用 Python 的 LSTM 进行股市预测

目录 一、说明 二、为什么需要时间序列模型&#xff1f; 三、下载数据 3.1 从 Alphavantage 获取数据 3.1 从 Kaggle 获取数据 3.3 数据探索 3.4 数据可视化 四、将数据拆分为训练集和测试集 五、数据标准化 六、通过平均进行一步预测 6.1 标准平均值 6.2 指数移动平均线 6.3 如…
阅读更多...
C++类与对象中（个人笔记）

C++类与对象中（个人笔记）

类与对象中 类的6个默认成员函数1.构造函数1.1特性 2.析构函数2.1特性 3.拷贝构造函数3.1特性 4.赋值运算符重载4.1特性 5.日期类的实现6.const成员6.1const成员的几个问题 7.取地址及const取地址操作符重载 类的6个默认成员函数 如果一个类中什么成员都没有&#xff0c;简称为…
阅读更多...
iOS 17.5系统或可识别并禁用未知跟踪器，苹果Find My技术应用越来越合理

iOS 17.5系统或可识别并禁用未知跟踪器，苹果Find My技术应用越来越合理

苹果公司去年与谷歌合作&#xff0c;宣布将制定新的行业标准来解决人们日益关注的跟踪器隐私问题。苹果计划在即将发布的 iOS 17.5 系统中加入这项提升用户隐私保护的新功能。 科技网站 9to5Mac 在苹果发布的 iOS 17.5 开发者测试版内部代码中发现了这项反跟踪功能的蛛丝马迹…
阅读更多...
SAP HCM PT 2003修改班次,PP61无法自动更新

SAP HCM PT 2003修改班次,PP61无法自动更新

今天遇到一个问题&#xff0c;2003修改班次以后PP61无法自动更新&#xff0c;开始一直以为是什么配置点漏掉&#xff0c;但是发现开发机没问题&#xff0c;后来发现是用户选保存的时候选中目标计划的完成&#xff0c;这个是保存到实际计划的&#xff0c;数据存储psoll中&#x…
阅读更多...
引入精益管理方式，需要提前做到这九点

引入精益管理方式，需要提前做到这九点

​ 近年来&#xff0c;软件项目的规模及其复杂性正在以空前的速度增长&#xff0c;互联网用户市场庞大&#xff0c;互联网公司和相应的软件产品层出不穷。快速响应需求变化往往是互联网行业的常态&#xff0c;软件产品的快速开发迭代对于公司迅速占领市场、抢占商机有着举足轻重…
阅读更多...
js通过Object.defineProperty实现数据响应式

js通过Object.defineProperty实现数据响应式

目录 数据响应式属性描述符propertyResponsive 依赖收集依赖队列寻找依赖 观察器 派发更新Observer完整代码关于数据响应式关于Object.defineProperty的限制 数据响应式 假设我们现在有这么一个页面 <!DOCTYPE html> <html lang"en"><head><m…
阅读更多...
ics-05-攻防世界

ics-05-攻防世界

题目 点了半天只有设备维护中心能进去 御剑扫一下 找到一个css 没什么用 再点击云平台设备维护中心url发生了变化 设备维护中心http://61.147.171.105:65103/index.php?pageindex试一下php伪协议 php://filter/readconvert.base64-encode/resourceindex.php base64解一下…
阅读更多...
python 指数搜索（Exponential Search）

python 指数搜索（Exponential Search）

该搜索算法的名称可能会产生误导&#xff0c;因为它的工作时间为 O(Log n)。该名称来自于它搜索元素的方式。 给定一个已排序的数组和要 搜索的元素 x&#xff0c;找到 x 在数组中的位置。 输入&#xff1a;arr[] {10, 20, 40, 45, 55} x 45 输出&#xff1a;在索…
阅读更多...
打包与发布iOS应用的完整指南

打包与发布iOS应用的完整指南

摘要 本文旨在指导开发者如何准备工作、打包和发布iOS应用。详细介绍了生成请求证书文件、生成APP开发证书及发布证书、生成APP ID、添加调试设备、生成描述文件等步骤。同时&#xff0c;结合案例演示和实际操作&#xff0c;帮助读者更好地理解和应用这些步骤。通过本文&#…
阅读更多...
34470A是德科技34470A数字万用表

34470A是德科技34470A数字万用表

181/2461/8938产品概述&#xff1a; Truevolt数字万用表&#xff08;34460A、34461A、34465A、34470A&#xff09;利用是德科技的新专利技术&#xff0c;使您能够快速获得见解、测量低功耗设备并保持校准的测量结果。Truevolt提供全方位的测量能力&#xff0c;具有更高的精度、…
阅读更多...
基于51单片机教室灯光全自动控制设计( proteus仿真+程序+设计报告+原理图+讲解视频）

基于51单片机教室灯光全自动控制设计( proteus仿真+程序+设计报告+原理图+讲解视频）

基于51单片机教室灯光全自动控制设计( proteus仿真程序设计报告原理图讲解视频&#xff09; 基于51单片机教室灯光全自动控制设计 1. 主要功能&#xff1a;2. 讲解视频&#xff1a;3. 仿真设计4. 程序代码5. 设计报告6. 原理图7. 设计资料内容清单&&下载链接 仿真图pro…
阅读更多...
Python | NCL风格 | EOF | 相关 | 回归

Python | NCL风格 | EOF | 相关 | 回归

这里在linux系统上使用geocat实现NCL风格的图片绘制 Linux上安装 geocat conda update conda conda create -n geocat -c conda-forge geocat-viz conda activate geocat conda update geocat-vizDataset - NOAA Optimum Interpolation (OI) SST V2 # 海温月平均数据 - lsmas…
阅读更多...
dubbo知识点

dubbo知识点

为什么要用 Dubbo&#xff1f; 随着服务化的进一步发展&#xff0c;服务越来越多&#xff0c;服务之间的调用和依赖关系也越来越复杂&#xff0c;诞生了面向服务的架构体系(SOA)&#xff0c;也因此衍生出了一系列相应的技术&#xff0c;如对服务提供、服务调用、连接处理、通信…
阅读更多...
React - 你使用过高阶组件吗

React - 你使用过高阶组件吗

难度级别：初级及以上 提问概率：55% 高阶组件并不能单纯的说它是一个函数，或是一个组件，在React中，函数也可以做为一种组件。而高阶组件就是将一个组件做为入参，被传入一个函数或者组件中，经过一定的加工处理，最终再返回一个组件的组合…
阅读更多...
最新文章

Copyright @ 2022~2023