ElasticSearch自动补全

一、拼音分词器：

当用户在搜索框输入字符时，我们应该提示出与该字符有关的搜索项，如图：

这种根据用户输入的字母，提示完整词条的功能，就是自动补全了。


GET /_analyze
{
  "text":"我爱螺蛳粉",
  "analyzer": "pinyin"
}

        这个错误表明 Elasticsearch 在使用全局分析器 pinyin 时遇到了问题，因为它无法找到这个全局分析器。可能是由于缺少配置或插件问题导致的。你需要确保已正确配置了 pinyin 分析器，并且相关的插件已经正确安装和配置：

                                正确结果会是这样的：

1.1、在线安装拼音分词器：
# 进入容器内部
docker exec -it es /bin/bash

# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip

#退出
exit
#重启容器
docker restart es

说明：安装的链接怎么获得

[root@db301601 ~]# docker exec -it es bash
[root@877298bbcfdf elasticsearch]# cd /usr/share/elasticsearch/bin
[root@877298bbcfdf bin]# ls
elasticsearch		elasticsearch-cli	elasticsearch-env-from-file  elasticsearch-node		  elasticsearch-setup-passwords  elasticsearch-sql-cli-7.12.1.jar  x-pack-env
elasticsearch-certgen	elasticsearch-croneval	elasticsearch-keystore	     elasticsearch-plugin	  elasticsearch-shard		 elasticsearch-syskeygen	   x-pack-security-env
elasticsearch-certutil	elasticsearch-env	elasticsearch-migrate	     elasticsearch-saml-metadata  elasticsearch-sql-cli		 elasticsearch-users		   x-pack-watcher-env
[root@877298bbcfdf bin]# cd /usr/share/elasticsearch    
[root@877298bbcfdf elasticsearch]# ls
LICENSE.txt  NOTICE.txt  README.asciidoc  bin  config  data  jdk  lib  logs  modules  plugins
[root@877298bbcfdf elasticsearch]# cd /usr/share/elasticsearch/plugins
[root@877298bbcfdf plugins]# ls
analysis-ik




[root@db301601 ~]# docker exec -it es /bin/bash
[root@877298bbcfdf elasticsearch]# ./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip



[root@877298bbcfdf elasticsearch]# ls
LICENSE.txt  NOTICE.txt  README.asciidoc  bin  config  data  jdk  lib  logs  modules  plugins
[root@877298bbcfdf elasticsearch]# cd plugins
[root@877298bbcfdf plugins]# ls
analysis-ik  analysis-pinyin
  • ./ 是指当前目录的简写。在Linux和类Unix系统中，. 表示当前目录，.. 表示上一级目录。因此，./ 表示当前目录下的文件或目录。在你的命令中，./elasticsearch-plugin 意味着你希望在当前目录中执行名为 elasticsearch-plugin 的可执行文件。
  • 使用正确的命令来删除 Elasticsearch 中的插件。正确的命令是 elasticsearch-plugin remove analysis-ik。这个命令会将名为 analysis-ik 的插件从 Elasticsearch 中移除。
  • elasticsearch-plugin 命令会将插件安装到 Elasticsearch 的插件目录中。通常情况下，插件目录位于 Elasticsearch 安装目录的 plugins 文件夹下。具体位置可能因操作系统和安装方式而异，但通常在 /usr/share/elasticsearch/plugins 或 /opt/elasticsearch/plugins 等位置。

1.2、离线安装拼音分词器：

        安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看数据卷目录:

docker volume inspect es-plugins

[root@db301601 ~]# docker restart es
es
[root@db301601 ~]# docker ps
CONTAINER ID   IMAGE                  COMMAND                  CREATED        STATUS         PORTS                                                                                  NAMES
877298bbcfdf   elasticsearch:7.12.1   "/bin/tini -- /usr/l…"   41 hours ago   Up 2 seconds   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp   es
881f28a337e6   kibana:7.12.1          "/bin/tini -- /usr/l…"   42 hours ago   Up 42 hours    0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                              kibana
[root@db301601 ~]#  docker volume ls
DRIVER    VOLUME NAME
local     03b04390f4eefc2da60368f67dbc266b76ccb710fe4275535f77a2067204da11
local     7df7ad63d90a9a6c2e3440b37e261039402950dd96f11677c8936dacd2c03210
local     ece02e3c8db3e86860f63fcc1fe9eb0a7c6f42a2b10d7a6c93d7172017886f40
local     ef6b9cdbe2110ec4802b5941d87d83250d1eb12a547a61ed342a59776fa94184
local     es-data
local     es-logs
local     es-plugins
local     root_data01
local     root_data02
local     root_data03
[root@db301601 ~]# docker volume inspect es-plugins
[
    {
        "CreatedAt": "2024-04-26T16:46:19+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]
[root@db301601 ~]# cd /var/lib/docker/volumes/es-plugins/_data
[root@db301601 _data]# ls
py

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data 这个目录中。

解压缩分词器安装包:把下载好的ik分词器解压缩，重命名为ik：

 

 上传到es容器的插件数据卷中：

重启容器:   docker restart es(容器名字)

二、自定义分词器   

注意事项：
        pinyin分词器默认时有很多缺点，比如每个字都拆分变成拼音，不符合一般需求，并且如果使用pinyin分词器，默认的中文索引就没了，只剩下pinyin索引了。所以，需要完善以下几点：

  • 分词时不仅包含汉字，还需包含拼音
  • 分词时按词分，不是字
  • 使用汉字查询时，不会查询到同音词条目docs

         如果只是单独使用拼音分词器，是没办法满足具体业务使用场景的，这时候就需要自定义分词器， 通过自定义分词器，将ik分词器与拼音分词器整合起来，来保证我们的搜索既满足汉字也满足拼音:

        自定义分词器一定是在创建索引库的时候去设置，它只对你所指定的索引库test有效，settings是索引库配置，我们自定义了三步之中的tokenizer和filter：

不完善的错误写法： 
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{//自定义分词器名称
         //先分词，分好词后交给filter去处理：
          "tokenizer":"ik_max_word",
          "filter":"py"
        }
      },
      "filter": {
        "py":{
          "type":"pinyin",
          "keep_full_pinyin":false,//单个字的拼音
          "keep_joined_full_pinyin":true,//全拼
          "keep_original":true, //保留中文
          "limit_first_letter_length":16,
          "remove_duplicated_term":true,
          "none_chinese_pinyin_tokenize":false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer" //用my_analyzer分词器
 
      }
    }
  }
}

                        ​​​​​​​                 

测试1：这个没问题
GET /test/_analyze
{
  "text":"我爱螺蛳粉",
  "analyzer": "my_analyzer"
}
 
GET /test/_analyze
{
  "text":"如家酒店还不错",
  "analyzer": "my_analyzer"
}

会生成中文、全拼音、词的缩写 

                   

测试2：同音词问题

拼音分词器适合在创建倒排索引的时候使用，但不能在搜索中使用，否则会出现同音词问题


POST /test/_doc/1
{
  "id":1,
  "name":"狮子"
}

POST /test/_doc/2
{
  "id":2,
  "name":"虱子"
}



GET /test/_search
{
  "query":{
    "match":{
      "name":"掉入狮子笼怎么办"
    }
  }
}

        ​​​​​​​        ​​​​​​​        ​​​​​​​        

为了避免出现同音词问题，拼音分词器适合在创建倒排索引的时候使用，不在搜索中使用

解决方法： 

        在做mapping映射时，指定两个：analyzer是创建索引时用的，search_analyzer是在搜索时需要的，用户搜的是中文，就拿中文去搜，搜的是英文，才拿英文去搜：

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"ik_max_word",
          "filter":"py"
        }
      },
      "filter": {
        "py":{
          "type":"pinyin",
          "keep_full_pinyin":false,
          "keep_joined_full_pinyin":true,
          "keep_original":true,
          "limit_first_letter_length":16,
          "remove_duplicated_term":true,
          "none_chinese_pinyin_tokenize":false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

这样才能正确搜出：

POST /test/_doc/1
{
  "id":1,
  "name":"狮子"
}

POST /test/_doc/2
{
  "id":2,
  "name":"虱子"
}



GET /test/_search
{
  "query":{
    "match":{
      "name":"掉入狮子笼怎么办"
    }
  }
}

总结：

 三、自动补全：

        刚才我们已经学习了拼音分词器的详细用法，已经能够实现基于拼音去做数据搜索了。接下来我们就来看一下自动补全的基本语法，将来我们就能够实现基于拼音去做自动补全了。

        在ES当中自动补全功能是基于completion suggester功能来实现的。这个功能可以在用户输入任意关键字时去索引库中，根据指定字段去匹配，以”用户输入关键字”为前缀的所有词条，并且返回，这就是自动补全 。

        自动补全功能对于要查询的字段，会有两个特殊的要求。

  •         第一要求：参与自动补全查询的​​​​​​​字段必须得是completion类型。 咱们以前学习字段的数据类型的时候，我们学过有字符串：text、keyword、数值类型、日期类型，这里又多了一种类型叫completion，它就是专门用来做自动补全查询的；
  •         要求二：参与自动补全查询的字段值最好得是多个词条形成的数组，这样更有利于将来做自动补全。尽量把词语分成一个一个的词条放到数组当中 ，这样可以更加人性化。例如要自动补全的字段名叫title，它的字段值可以看到是个数组：耳机的产品信息，它形成了两个词条，而不是一个字符串，为什么他要分开呢？自动补全是根据词条做自动补全的，如果你把它俩合成一个字符串，那将来我们再去做自动补全时，你就只能根据s来补全。那当用户输入w的时候，它无法搜出产品索尼名称。

示例：

DSL语句：
PUT test2
{
  "mappings":{
    "properties":{
      "title":{
        "type":"completion"
      }
    }
  }
}
// "title" 字段的数据类型是一个数组（Array）。数组可以包含多个元素，
//这里具体包含了两个字符串，如 "Sony" 和 "WH-1000XM3" 
POST test2/_doc
{
  "title": ["Sony", "WH-1000XM3"]
}
POST test2/_doc
{
  "title": ["SK-II", "PITERA"]
}
POST test2/_doc
{
  "title": ["Nintendo", "switch"]
}
查询语法： 

        将来我们去做completion suggester查询的时候，查询语法比较特殊: 它这里没有用query，因为不再是搜索了，而是去做自动补全，所以变成了suggest。


GET /test2/_search
{
  "suggest": {
    "title_suggest": {	//设置这个自动查询操作的名称,名字随便
      "text": "s", // 关键字，用户输入的前缀，s开头的这些词条
      "completion": { //自动补全的类型
        "field": "title", // 自动补全查询的字段名
        "skip_duplicates": true, // 跳过重复的
        "size": 10 // 获取前10条结果
      }
    }
  }
}

 

{
  "took" : 16,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "suggest" : {
    "title_suggest" : [
      {
        "text" : "s",
        "offset" : 0,
        "length" : 1,
        "options" : [
          {
            "text" : "SK-II",
            "_index" : "test2",
            "_type" : "_doc",
            "_id" : "_6UOJY8B5is2vprLHEOq",
            "_score" : 1.0,
            "_source" : {
              "title" : [
                "SK-II",
                "PITERA"
              ]
            }
          },
          {
            "text" : "Sony",
            "_index" : "test2",
            "_type" : "_doc",
            "_id" : "_qUOJY8B5is2vprLFUNq",
            "_score" : 1.0,
            "_source" : {
              "title" : [
                "Sony",
                "WH-1000XM3"
              ]
            }
          },
          {
            "text" : "switch",
            "_index" : "test2",
            "_type" : "_doc",
            "_id" : "AKUOJY8B5is2vprLIERe",
            "_score" : 1.0,
            "_source" : {
              "title" : [
                "Nintendo",
                "switch"
              ]
            }
          }
        ]
      }
    ]
  }
}

除了返回text外，还返回了文档的原始信息：

输入so就只查出来一条了：

这就是自动补全功能 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/587459.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

C++类和对象上篇

C++类和对象上篇

🐇 🔥博客主页： 云曦 📋系列专栏：[C] 💨路漫漫其修远兮 吾将而求索 💛 感谢大家👍点赞 😋关注📝评论 文章目录 📙前言📙1、面向过程…
阅读更多...
高扬程消防水泵在火灾中的关键作用/恒峰智慧科技

高扬程消防水泵在火灾中的关键作用/恒峰智慧科技

在火灾这一无情的灾难面前，每一秒都至关重要。而在这一分一秒的较量中，高扬程消防水泵无疑扮演着举足轻重的角色。它不仅是灭火战斗的得力助手，更是保障人民生命财产安全的守护神。 高扬程消防水泵，顾名思义，其扬程远超…
阅读更多...
VOS系统录音文件REC转MP3，REC录音转WAV与WAV转MP3具体项目中实现方式，以及占用空间变化！

VOS系统录音文件REC转MP3，REC录音转WAV与WAV转MP3具体项目中实现方式，以及占用空间变化！

前面讲解了VOS3000系统的录音REC转MP3的安装步骤，不清楚的，可以移步这里查看：http://t.csdnimg.cn/OXNT9 或者 点击这里查看安装步骤，下面继续讲下他们的使用方法，以及实际项目中的运用，首先我们需要明确我…
阅读更多...
vue本地打包预览

vue本地打包预览

vue官网介绍 serve官网 1、项目打包 npm run build2、安装serve npm install -g serve3、在项目的 dist 文件运行命令行 serve5、运行结果如下 6、在浏览器打开 在浏览器打开 http://localhost:3000 或者 http://192.168.0.198:3000 就可以看到打包的东西了
阅读更多...
【高质量】2024五一数学建模C题保奖思路+代码（后续会更新）

【高质量】2024五一数学建模C题保奖思路+代码（后续会更新）

你的点赞收藏是我后续更新的最大动力！ 一定要点击文末的卡片，那是获取资料的入口！ 你是否在寻找数学建模比赛的突破点？ 作为经验丰富的数学建模团队，我们将为你带来2024 年五一数学建模（C题）…
阅读更多...
展会资讯 | 现场精彩回顾 阿尔泰科技参展2024第23届中国国际(西部)光电产业！

展会资讯 | 现场精彩回顾 阿尔泰科技参展2024第23届中国国际(西部)光电产业！

2024第23届中国国际（西部）光电产业博览会，在成都世纪城新国际会展中心圆满落幕！来自各地的光电领域设备及材料厂商汇聚一堂，展示前沿技术及创新成果。 展会现场，来自全国各地的500余家企业就精密光学、信息…
阅读更多...
电商技术揭秘文章合集（3）

电商技术揭秘文章合集（3）

相关系列文章 电商技术揭秘相关系列文章合集（1） 电商技术揭秘相关系列文章合集（2） 电商技术揭秘文章合集（3） 电商技术揭秘二十八：安全与合规性保障 电商技术揭秘二十九：电商法律…
阅读更多...
esp32s3使用psram后音频播报不了的问题解决记录

esp32s3使用psram后音频播报不了的问题解决记录

idf.py menuconfig开启psram后会报错 提示需要打补丁： 根据提示切换到IDF_PATH目录，然后执行git apply %ADF_PATH%/ida_patches/idf5.0_freertos.patch打补丁。 再次编译提示如下错误： assert failed: spi_flash_disable_interrupts_cach…
阅读更多...
电脑装了两个Win10系统，怎么修改其名称方便识别？

电脑装了两个Win10系统，怎么修改其名称方便识别？

前言 有小伙伴在上一期的双系统教程上留言说怎么修改双系统引导时候显示的名称 不然看起来两个系统好像都没啥分别，如果是Windows10Windows11的方案还好说，但如果是两个Windows10或者是两个Windows11，有时候还真的很不好分辨。 万一想要启动…
阅读更多...
OpenHarmony语言基础类库【@ohos.util (util工具函数)】

OpenHarmony语言基础类库【@ohos.util (util工具函数)】

ohos.util (util工具函数) 该模块主要提供常用的工具函数，实现字符串编解码（[TextEncoder])，[TextDecoder]）、有理数运算（[RationalNumber8]）、缓冲区管理（[LRUCache9]）、范围判断&…
阅读更多...
hdc不是内部或外部命令，也不是可运行的程序或批处理文件。【鸿蒙报错已解决】

hdc不是内部或外部命令，也不是可运行的程序或批处理文件。【鸿蒙报错已解决】

文章目录 项目场景：问题描述原因分析：解决方案：此Bug解决方案总结Bug解决方案寄语项目场景： 最近遇到了这个问题，看到网上也有人在询问这个问题，实操了很多网上的解决方案发现并不能解决这个Bug，所以我在解决这个问题后，总结了自己和其他人的解决经验，进行了整理，写…
阅读更多...
全网最强JavaWeb笔记 | 万字长文爆肝JavaWeb开发——day08数据库Mybatis入门

全网最强JavaWeb笔记 | 万字长文爆肝JavaWeb开发——day08数据库Mybatis入门

万字长文爆肝黑马程序员2023最新版JavaWeb教程。这套教程打破常规，不再局限于过时的老套JavaWeb技术，而是与时俱进，运用的都是企业中流行的前沿技术。笔者认真跟着这个教程，再一次认真学习一遍JavaWeb教程，温故而知新&…
阅读更多...
latex+vscode一直报错，配置文件json和环境变脸配置

latex+vscode一直报错，配置文件json和环境变脸配置

1、json配置文件 {"latex-workshop.latex.tools": [{"name": "xelatex","command": "xelatex","args": ["-synctex1","-interactionnonstopmode","-file-line-error","%DOCF…
阅读更多...
日期类的实现，const成员

日期类的实现，const成员

目录 一&#xff1a;日期类实现 二&#xff1a;const成员 三&#xff1a;取地址及const取地址操作符重载 一&#xff1a;日期类实现 //头文件#include <iostream> using namespace std;class Date {friend ostream& operator<<(ostream& out, const Dat…
阅读更多...
mysql定时执行语句

mysql定时执行语句

一、前提 #确保事件调度为开放(ON) SHOW VARIABLES LIKE event_scheduler;二、场景 1、创建test01 表&#xff0c;表中存储1000条数据&#xff1b; 2、创建空表test02&#xff0c;表结构与 test01相同&#xff1b; 3、将test01中的数据以每分钟10条的形式转移到test02中去三、…
阅读更多...
基于Spring Boot的校园博客系统设计与实现

基于Spring Boot的校园博客系统设计与实现

基于Spring Boot的校园博客系统设计与实现 开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/idea 系统部分展示 系统功能界面图&#xff0c;在系统首页可以查看首页、文…
阅读更多...
Java面试八股之简述Java中assert的作用

Java面试八股之简述Java中assert的作用

简述Java中assert的作用 Java中的assert关键字用于在代码中插入断言&#xff08;Assertion&#xff09;&#xff0c;断言是一种在开发和测试阶段用于验证程序内部状态或假设的机制。其主要作用包括&#xff1a; 条件检查&#xff1a; assert语句用于在特定代码点上检查一个布…
阅读更多...
Microsoft Universal Print 与 SAP 集成教程

Microsoft Universal Print 与 SAP 集成教程

引言 从 SAP 环境打印是许多客户的要求。例如数据列表打印、批量打印或标签打印。此类生产和批量打印方案通常使用专用硬件、驱动程序和打印解决方案来解决。 Microsoft Universal Print 是一种基于云的打印解决方案&#xff0c;它允许组织以集中化的方式管理打印机和打印机驱…
阅读更多...
python u是什么意思

python u是什么意思

u&#xff1a;表示unicode字符串&#xff0c;默认模式&#xff0c;里边的特殊字符会被识别。 作用&#xff1a;后面字符串以unicode格式进行编码&#xff0c;一般用在中文字符串前面&#xff0c;防止因为源码储存格式问题&#xff0c;导致再次使用时出现乱码。 用法&#xff…
阅读更多...
基于springboot实现迪迈手机商城设计系统项目【项目源码+论文说明】

基于springboot实现迪迈手机商城设计系统项目【项目源码+论文说明】

基于springboot实现迪迈手机商城设计系统演示 研究背景 当前社会各行业领域竞争压力非常大&#xff0c;随着当前时代的信息化&#xff0c;科学化发展&#xff0c;让社会各行业领域都争相使用新的信息技术&#xff0c;对行业内的各种相关数据进行科学化&#xff0c;规范化管理。…
阅读更多...
最新文章

Copyright @ 2022~2023