Elasticsearch 搜索引擎实现对文档内容进行快速检索（保姆级教程）

本文主要讲解ES如何从提取文档中提取内容（word、pdf、txt、excel等文件类型），实现快速检索文档内容实现。

特别说明一下，为什么用7.10.0版本，因为在项目中除了精确匹配的要求，也会有模糊查询（关键字是wildcard ）的场景。wildcard 这个只有 7.9 版本之后才支持 所以我推荐你使用 7.10.0。

elasticsearch,el, kibana，版本需要一致，比如elasticsearch版本是7.10.0，那么el和kibana的版本也需要是7.10.0，elasticsearch-head-master无所谓，尽量别用太低的版本。

本文实现思路

  • 一、ES下载安装运行
    • 1.下载安装ES
    • 2.修改配置，启动ES
  • 二、安装ik分词器
    • 1.什么是ik分词器
    • 2.新建ik文件夹
    • 3.解压elasticsearch-analysis-ik-7.10.0.zip
  • 三、安装Attachment
    • 1.Attachment 介绍
    • 2.安装Attachment
  • 四、安装ES可视化工具elasticsearch-head-master
    • 1.启动成功后访问：http://localhost:9100/
  • 五、定义—文本抽取管道(pipeline)
    • 1.请求地址（PUT ）：_ingest/pipeline/attachment
  • 六、创建索引
    • 1.创建索引
  • 七、插入数据
    • 1.插入数据
  • 八、查询数据
    • 1.查询数据
    • 2.多条件查询
  • 九、Java 插入数据到Elasticsearch中进行各种类型文档的内容检索

一、ES下载安装运行

网盘包含：ES安装包、ik分词器、elasticsearch-head-master、kibana
网盘链接：https://pan.baidu.com/s/1_Vfcn0scS3vgZ2qSvc0TUw?pwd=j7f1
提取码：j7f1

在这里插入图片描述

1.下载安装ES

下载后解压文件夹，目录如图所示

在这里插入图片描述

在这里插入图片描述

2.修改配置，启动ES

进入到ES的config文件夹下，编辑 elasticsearch.yml 在末尾添加两行配置（该配置是为了不让ES进行签证认证），如果不加这两行配置，也可以去ES官网申请签证但是这个申请的签证是有试用期限的到期了还得重新申请所以我就直接给它过滤掉认证了。

http.cors.enabled: true
http.cors.allow-origin: “*”

在这里插入图片描述

这里再扩充一下后期用到的东西，现在你在自己电脑上访问ES没问题，如果外网其他电脑想连接你的ES，是需要再改一些配置的，还在在该文件里把框红的三个注释解开，不然会访问不到你的ES，因为ES默认是localhost访问，看图配置保存即可。
在这里插入图片描述

添加完配置后，进入ES的bin目录下，双击elasticsearch.bat，日志中提示started就说明启动成功啦

在这里插入图片描述

在这里插入图片描述

二、安装ik分词器

1.什么是ik分词器

ps：有人会好奇ik分词器是什么？ 主要作用就是用来分词检索，比如 “我爱中国”，会进行粗粒分词和细粒分词，粗粒分词就是 “我爱” “中国”，细粒分词“我” “爱” “中” “国”，大概就是这个意思，想继续深挖的自行百度，我这里就不过多介绍了。后面会主要讲解它的使用方式

2.新建ik文件夹

进入到 elasticsearch-7.10.0\plugins 目录下，新建一个文件夹命名为小写 “ik”，这里有一个ingest-attachment文件夹，大家会发现你们没有，对滴！先别急，因为我之前已经装过了！后面我会讲它怎么下载以及作用，目前没有不耽误你们继续跟着文章学习。

在这里插入图片描述

3.解压elasticsearch-analysis-ik-7.10.0.zip

新建完 ik 文件夹后，把网盘中下载的 elasticsearch-analysis-ik-7.10.0.zip 解压到 ik文件夹里面，解压后的内容如下（解压完可以把elasticsearch-analysis-ik-7.10.0.zip删了，删不删无所谓），到这里我们的ik分词器就完成安装了。

在这里插入图片描述

三、安装Attachment

1.Attachment 介绍

简单理解就是处理文档的插件 ingest-attachment

Attachment 插件是 Elasticsearch 中的一种插件，允许将各种二进制文件（如PDF、Word文档等）以及它们的内容索引到 Elasticsearch 中。插件使用 Apache Tika 库来解析和提取二进制文件的内容。通过使用 Attachment 插件，可以轻松地在 Elasticsearch 中建立全文搜索功能，而无需事先转换二进制文件为文本。此说明来自：https://blog.csdn.net/lijie0213/article/details/134205963?spm=1001.2014.3001.5506

2.安装Attachment

windows安装先在ES的bin目录下执行命令 安装 ngest-attachment插件，刚才不是ik文件夹同级有一个 ingest-attachment，没错！现在我们来安装它！安装完后就是一堆jar包，附图就是安装完成后的样子。

在线安装
在ES的bin目录下执行命令 安装 ngest-attachment插件

elasticsearch-plugin install ingest-attachment

在这里插入图片描述

因为我已经下载过了，所以显示的日志会跟你们不一样，正常会有一个让你输入 Y 的提示，安装看不懂的可以看这篇博主的：https://blog.csdn.net/lijie0213/article/details/134205963?spm=1001.2014.3001.5506
在这里插入图片描述

离线安装网盘链接：https://pan.baidu.com/s/1RoUrVe_voYSFxnliB6eW3Q?pwd=qkpg
提取码：qkpg
在这里插入图片描述

四、安装ES可视化工具elasticsearch-head-master

无话可说，解压进入bin目录下，运行： npm run start

1.启动成功后访问：http://localhost:9100/

在这里插入图片描述
在这里插入图片描述
安装启动完成页面
在这里插入图片描述

五、定义—文本抽取管道(pipeline)

下列复制粘贴到 elasticsearch-head-master 可视化工具的复合查询选项中

1.请求地址（PUT ）：_ingest/pipeline/attachment

{
  "description": "Extract attachment information",
  "processors": [
    {
      "attachment": {
        "field": "content",
        "indexed_chars": 1000000,
        "ignore_missing": true
      }
    },
    {
      "remove": {
        "field": "content"
      }
    }
  ]
}

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3b3d497e36a1469fb06dcf02a66ad68b.png
创建管道成功提示：

{
"acknowledged": true
}

六、创建索引

这个时候就可以创建我们自定义的索引了，索引这个东西你要研究的话还是有很多东西需要学的，我这里大概就说一下怎么去用，其他方面的自行百度。
关键词：mappings
mapping是映射，对比MySQL而言，他相当于MySQL的表结构定义。
包括：设置元数据、定义存储字段的类型、分区、副本等设置
关键词：properties 就是用来指定属性，比如下列索引内容中的 file_id,file_name 对应的就是你数据库表的字段，type是类型，keyword和text是ES中的字符串类型，
在这里插入图片描述

1、ik_max_word

会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。

2、ik_smart
会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。

1.创建索引

//创建索引
请求类型：PUT
索引名称：file_data（自定义）
{
  "mappings": {
    "properties": {
      "file_id":{
        "type": "keyword"
      },
      "file_name":{
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "file_type":{
        "type": "keyword"
      },
	  "file_url":{
        "type": "keyword"
      },
	  "group_file_id":{
        "type": "keyword"
      },
	  "file_suffix":{
        "type": "keyword"
      },
	  "file_size":{
        "type": "keyword"
      },
	  "file_dir_name":{
        "type": "keyword"
      },
      "attachment": {
        "properties": {
          "content":{
            "type": "text",
            "analyzer": "ik_smart"
          }
        }
      }
    }
  }
}

七、插入数据

1.插入数据

POST file_data/_doc?pipeline=attachment
{
	"file_id":"1",
  "file_name":"性能分析排查思路",
  "file_type":"pdf",
  "file_url":"http://文件存储地址:8080/xxx/docs/raw/master/性能分析与内存问题排查思考.pdf",
  "group_file_id":"123456",
  "file_suffix":".pdf",
  "file_size":"33",
  "file_dir_name":"yryy",
  "content":"很长很长的base64内容粘贴到这了"
}

在这里插入图片描述
在这里插入图片描述

base64就是这玩意，一大长串，你给他扔content里就行了，管道会自动把base64里面的内容提取出来放到ES中，不用你再去做这些处理了。
在这里插入图片描述

八、查询数据

1.查询数据

POST file_data/_search
{
  "query": {
    "match": {
      "attachment.content": {
        "query": "内存泄漏",
        "analyzer": "ik_smart"
      }
    }
  }
}

这里提交的时候，注意一下请求方式，ES官方和很多博主说的都是GET请求，但是我得GET请求会查出所有数据，相当于我的查询参数设置没有生效，然后我用POST请求就成功了。这个好像是elasticsearch-head-master可视化工具的BUG，好像高版本已经修复了。
在这里插入图片描述

2.多条件查询

上面是我根据文件内容进行的查询，比如我想根据多条件查询怎么办呢？类似于mysql中的 and 条件 where id=1 and name=“文件名称”

{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "attachment.content": {
              "query": "啊啊啊啊啊",
              "analyzer": "ik_smart"
            }
          }
        },
        {
          "match": {
            "file_name": "性能分析排查思路"
          }
        }
      ]
    }
  }
}

在这里插入图片描述

学习两位博主的文章：
https://blog.csdn.net/yuand7/article/details/136436712?spm=1001.2014.3001.5506

https://blog.csdn.net/lijie0213/article/details/134205963?spm=1001.2014.3001.5506

九、Java 插入数据到Elasticsearch中进行各种类型文档的内容检索

点击跳转：请看我这篇博客-Java 插入数据到Elasticsearch中进行各种类型文档的内容检索

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/630428.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

k8s二进制部署--多master、负载均衡、高可用

k8s二进制部署--多master、负载均衡、高可用

目录 1、环境准备 1.1 服务器配置 1.2 master02 节点部署 2、负载均衡部署 2.1 下载nginx 2.2 修改nginx配置文件 2.3 启动nginx 2.3.1 检查配置文件语法 2.3.2 启动nginx服务，查看已监听6443端口 3. 部署keepalived服务(nginx主机，以nginx01为…
阅读更多...
SOP for Oracle 23ai：Python 连接 Oracle 的两种方法

SOP for Oracle 23ai：Python 连接 Oracle 的两种方法

前情回顾 前文介绍了如何使用 python-oracledb 连接 Oracle 23ai 数据库，并演示了如何使用独立连接方式。 其中提到了支持两种连接池： DRCP 和 PRCP。 本文将对这两种连接池做具体演示。 DRCP 和 PRCP 连接池 连接池技术的优点不言而喻： 缩短…
阅读更多...
selenium发展史

selenium发展史

Selenium Core 2004 年，Thoughtworks 的工程师 Jason Huggins 正在负责一个 Web 应用的测试工作，由于这个项目需要频繁回归，这导致他不得不每天做着重复且低效的工作。为了解决这个困境，Jason 开发了一个运行在 JavaScript 沙箱中…
阅读更多...
Python的for循环

Python的for循环

for循环 Python中的for循环是一种迭代循环，可以迭代容器中的每一个元素。 for循环结构 示例： users ["汤姆", "艾米", "李华"] for i in users:print(i) 其中i为临时变量，仅在循环中有效；users…
阅读更多...
使用可接受gitlab参数的插件配置webhook

使用可接受gitlab参数的插件配置webhook

jenkins配置 安装Generic Webhook Trigger 配置远程触发令牌 勾选Print post content和Print contributed variables用于打印值 配置gitlab 选择新增webhook 配置webhook http://JENKINS_URL/generic-webhook-trigger/invoke,将JENKINS_URL修改成自己的jenkins地址 先保存…
阅读更多...
mysql 查询---多表设计

mysql 查询---多表设计

部分数据 1distinct去重 select distinct job from tb_emp;select * from tb_emp where id in (1,2,3); select * from tb_emp where id between 1 and 5; select * from tb_emp where name like __; #下划线匹配单个字符, %匹配任意多个字符select min(entrydate) from tb_e…
阅读更多...
第9章.Keil5-MDK软件简介

第9章.Keil5-MDK软件简介

目录 0. 《STM32单片机自学教程》专栏 9.1 主界面 9.2 文本格式编辑 9.3 代码提示&语法检测&代码模版 9.4 其他小技巧 9.4.1 TAB 键的妙用 9.4.2 快速定位函数/变量被定义的地方 9.4.3 快速注释与快速消注释 9.4.4 快速打开头文件 9.4.5 查找替换…
阅读更多...
C++基础——继承（下）

C++基础——继承（下）

一、继承与静态成员 基类定义了static 静态成员，则整个继承体系里面只有一个这样的成员。无论派生出多少个子 类，都只有一个 static 成员实例 。 class person { public:person(const char* name "lisi"):_name(name){} public:string _name;…
阅读更多...
Trieve实践：好用功的开源RAG

Trieve实践：好用功的开源RAG

目录 RAG概述 RAG架构 Trieve Trieve介绍 Trieve使用 初始化 自行搭建RAG Trieve是什么，RAG是什么，本文来带你了解。其实在很多产品应用里面都会有RAG,比如ai客服，针对性的智能问答，都是基于RAG实现的 RAG概述 RAG 是一种…
阅读更多...
Electron学习笔记（五）

Electron学习笔记（五）

文章目录 相关笔记笔记说明 七、系统1、系统对话框2、自定义窗口菜单3、系统右键菜单4、快捷键(1)、监听网页按键事件 （窗口需处于激活状态）(2)、监听全局按键事件 （窗口无需处于激活状态）(3)、补充：自定义窗口菜单快捷…
阅读更多...
力扣刷题 day2

力扣刷题 day2

快乐数 202. 快乐数 - 力扣（LeetCode）   图: java // 快乐数 --> 19 > 1^2 9 ^2 82 > 82 > 8 ^ 2 2 ^ 2 ......public boolean isHappy(int n) {// 使用快慢指针int slow n, fast getSum(n);while (slow ! fast) {slow getSum(slo…
阅读更多...
十大排序算法之-＞归并排序

十大排序算法之-＞归并排序

一、归并排序简介 归并排序是一种基于分治策略的有效且稳定的排序算法。归并排序由约翰冯诺伊曼提出，是计算机科学中一个非常基础且历史悠久的算法。 归并排序利用分治法的策略，将一个大的数组拆分成几个小的子数组，这些子数组各自独立地排…
阅读更多...
2024中国应急（消防）品牌巡展西安站成功召开！惊喜不断

2024中国应急（消防）品牌巡展西安站成功召开！惊喜不断

消防品牌巡展西安站 5月10日，由中国安全产业协会指导，中国安全产业协会应急创新分会、应急救援产业网联合主办，陕西消防协会协办的“一切为了安全”2024年中国应急(消防)品牌巡展-西安站成功举办。该巡展旨在展示中国应急（消防&am…
阅读更多...
免费体验GPT-4o这5大功能，非常好用！

免费体验GPT-4o这5大功能，非常好用！

这几天，OpenAI发布了新的GPT版本，GPT-4o，比GPT4更加智能也更快。 据说，GPT-4o在文本、推理和编码智能方面实现了GPT-4 Turbo级别的性能，在多语言、文本、音频和视觉功能方面甚至超过了市面上所有同类产品。 有几个亮点…
阅读更多...
树链剖分详解，看这一篇就够了

树链剖分详解，看这一篇就够了

前置知识： 树形结构链式前向星(熟练)线段树(熟练)DFS序(熟练)LCA(了解定义) 什么是树链剖分 树链剖分其实有两种：重链剖分和长链剖分。重链剖分就是把儿子节点最重的儿子称为重儿子，把树分成若干条重链（如图一）&#…
阅读更多...
雍禾植发张东宏：以诚相待毛发患者

雍禾植发张东宏：以诚相待毛发患者

医学道路上的奋斗往往需要坚定的信念和不懈的努力。对于张东宏医生来说，医学并非止步于书本知识，而是一次次与患者对话、一次次实操中的历练和积累。在他的成长历程中，医学之路如同一棵参天大树，每一步都是扎实的打磨，…
阅读更多...
2024年CSPM考试时间线梳理！

2024年CSPM考试时间线梳理！

最近后台有朋友在问今年CSPM的考试安排，给大家整理一下，需要的朋友认真查看，不要错过考试。2024年5月12日举行了本年度第二次CSPM3级考试~接下来的考试安排如下： 1）2024年CSPM考试安排 本次考试出成绩时间——2024年6…
阅读更多...
【RSGIS数据资源】2001-2021 年亚洲季风区主要国家作物种植制度数据集

【RSGIS数据资源】2001-2021 年亚洲季风区主要国家作物种植制度数据集

文章目录 1. 数据集概况2. 数据格式3. 文件名命名规则4. 数据生产服务单位5. 元数据6. 数据引用与参考文献引用 1. 数据集概况 2001-2021 年亚洲季风区主要国家作物种植制度数据集（ACIA500）是结合MODIS 影像和现有的土地利用等多源数据，基于…
阅读更多...
QT状态机1-三态循环状态机

QT状态机1-三态循环状态机

#include "MainWindow.h" #include "ui_MainWindow.h"MainWindow::MainWindow(QWidget *parent): QMainWindow(parent)
阅读更多...
【半夜学习MySQL】复合查询（含多表查询、自连接、单行/多行子查询、多列子查询、合并查询等详解）

【半夜学习MySQL】复合查询（含多表查询、自连接、单行/多行子查询、多列子查询、合并查询等详解）

🏠关于专栏：半夜学习MySQL专栏用于记录MySQL数据相关内容。 🎯每天努力一点点，技术变化看得见 文章目录 回顾基本查询多表查询自连接子查询单行子查询多行子查询多列子查询在from子句中使用子查询合并查询 回顾基本查询 下面使用…
阅读更多...
最新文章

Copyright @ 2022~2023