【业务功能篇81】微服务SpringCloud-ElasticSearch-Kibanan-docke安装-入门实战

image.png

ElasticSearch

一、ElasticSearch概述

1.ElasticSearch介绍

  ES 是一个开源的高扩展的分布式全文搜索引擎，是整个Elastic Stack技术栈的核心。它可以近乎实时的存储，检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

  ElasticSearch的底层是开源库Lucene，但是你没办法直接用Lucene，必须自己写代码去调用它的接口，Elastic是Lucene的封装，提供了REST API的操作接口，开箱即用。天然的跨平台。

  全文检索是我们在实际项目开发中最常见的需求了，而ElasticSearch是目前全文检索引擎的首选，它可以快速的存储，搜索和分析海量的数据，维基百科，GitHub，Stack Overflow都采用了ElasticSearch。

官方网站：https://www.elastic.co/cn/elasticsearch/

中文社区：https://elasticsearch.cn/explore/

2.ElasticSearch用途

  1. 搜索的数据对象是大量的非结构化的文本数据。
  2. 文件记录达到数十万或数百万个甚至更多。
  3. 支持大量基于交互式文本的查询。
  4. 需求非常灵活的全文搜索查询。
  5. 对高度相关的搜索结果的有特殊需求，但是没有可用的关系数据库可以满足。
  6. 对不同记录类型，非文本数据操作或安全事务处理的需求相对较少的情况。

3. ElasticSearch基本概念

image.png

3.1 索引

  索引（indices）在这儿很容易和MySQL数据库中的索引产生混淆，其实是和MySQL数据库中的Databases数据库的概念是一致的。

3.2 类型

  类型(Type),对应的其实就是数据库中的 Table(数据表)，类型是模拟mysql中的table概念，一个索引库下可以有不同类型的索引，比如商品索引，订单索引，其数据格式不同。

3.3 文档

  文档(Document),对应的就是具体数据行(Row)

3.4 字段

  字段(field)相对于数据表中的列，也就是文档中的属性。

4. 倒排索引

  Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好.

  倒排索引是搜索引擎的核心。搜索引擎的主要目标是在查找发生搜索条件的文档时提供快速搜索。ES中的倒排索引其实就是 lucene 的倒排索引，区别于传统的正向索引，倒排索引会再存储数据时将关键词和数据进行关联，保存到倒排表中，然后查询时，将查询内容进行分词后在倒排表中进行查询，最后匹配数据即可。

image.png

image.png

image.png

具体拆解的案例

词记录
红海1，2，3，4，5
行动1，2，3
探索2，5
特别3，5
记录篇4
特工5

保存的对应的记录为

1-红海行动

2-探索红海行动

3-红海特别行动

4-红海记录篇

5-特工红海特别探索

分词：将整句分拆为单词

检索信息：

  1. 红海特工行动?
  2. 红海行动？

二、ElasticSearch相关安装

image.png

1.Elasticsearch安装

  ElasticSearch安装就相当于安装MySQL数据库。

下载对应的镜像文件

docker pull elasticsearch:7.4.2

创建需要挂载的目录

mkdir -p /mydata/elasticsearch/config

mkdir -p /mydata/elasticsearch/data

echo “http.host : 0.0.0.0” >> /mydata/elasticsearch/config/elasticsearch.yml

安装ElasticSearch容器

docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” -e ES_JAVA_OPTS=“-Xms64m -Xmx128m” -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.4.2

启动异常：

elasticsearch.yml配置文件的 : 两边需要添加空格

还有就是访问的文件权限问题：

image.png

没有权限我们就添加权限就可以了

chmod -R 777 /mydata/elasticsearch/

然后我们就可以启动容器了

docker start 容器编号

image.png

然后测试访问：http://192.168.56.100:9200

image.png

看到这个效果表示安装成功！

2.Kibana安装

  Kibana的安装就相当于安装MySQL的客户端SQLYog。

下载镜像文件

docker pull kibana:7.4.2

启动容器的命令

docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.56.100:9200 -p 5601:5601 -d kibana:7.4.2

测试访问：http://192.168.56.100:5601

image.png

如果查看日志：docker logs 容器编号

image.png

那么我们就手动的进入容器中修改ElasticSearch的服务地址

docker exec -it 容器编号 /bin/bash

进入config目录

cd config

修改kibana.yml文件中的ElasticSearch的服务地址

image.png

然后我们重启Kibana服务

image.png

看到如下界面表示安装启动成功

image.png

三、ElasticSearch入门

1._cat

_cat接口说明
GET /_cat/nodes查看所有节点
GET /_cat/health查看ES健康状况
GET /_cat/master查看主节点
GET /_cat/indices查看所有索引信息

/_cat/indices?v 查看所有的索引信息

image.png

es 中会默认提供上面的几个索引，表头的含义为：

字段名含义说明
healthgreen(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
status是否能使用
index索引名
uuid索引统一编号
pri主节点几个
rep从节点几个
docs.count文档数
docs.deleted文档被删了多少
store.size整体占空间大小
pri.store.size主节点占

2.索引操作

索引就相当于我们讲的关系型数据库MySQL中的 database

2.1 创建索引

PUT /索引名

参数可选：指定分片及副本，默认分片为3，副本为2。

{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 2
      }
}

image.png

2.2 查看索引信息

GET /索引名

image.png

或者，我们可以使用*来查询所有索引具体信息

image.png

2.3 删除索引

DELETE /索引名称

image.png

3.文档操作

文档相当于数据库中的表结构中的Row记录

3.1 创建文档

PUT /索引名称/类型名/编号

数据

{
   "name":"bobo"
}

image.png

提交方式描述
PUT提交的id如果不存在就是新增操作，如果存在就是更新操作，id不能为空
POST如果不提供id会自动生成一个id,如果id存在就更新，如果id不存在就新增

POST /索引名称/类型名/编号

image.png

image.png

3.2 查询文档

GET /索引/类型/id

image.png

返回字段的含义

字段含义
_index索引名称
_type类型名称
_id记录id
_version版本号
_seq_no并发控制字段，每次更新都会+1，用来实现乐观锁
_primary_term同上，主分片重新分配，如重启，就会发生变化
found找到结果
_source真正的数据内容

乐观锁： ?if_seq_no=0&if_primary_term=1

image.png

image.png

3.3 更新文档

  前面的POST和PUT添加数据的时候，如果id存在就会执行更新文档的操作，当然我们也可以通过POST方式提交，然后显示的跟上_update来实现更新

POST /索引/类型/id/_update

{
   "doc":{
       "name":"bobo666"
   }
}

这种方式来更新，只是这种方式的更新如果数据没有变化则不会操作。

image.png

如果更新的数据和文档中的数据是一样的，那么POST方式提交是不会有任何操作的

image.png

3.4 删除文档

DELETE /索引/类型/id

DELETE /索引

image.png

3.5 测试数据

_bulk批量操作，语法格式

{action:{metadata}}\n
{request body }\n
{action:{metadata}}\n
{request body }\n

案例

POST /bobo/system/_bulk
{"index":{"_id":"1"}}
{"name":"dpb"}
{"index":{"_id":"2"}}
{"name":"dpb2"}

image.png

复杂点的案例：

POST /_bulk
{"delete":{"_index":"website","_type":"blog","_id":"123"}}
{"create":{"_index":"website","_type":"blog","_id":"123"}}
{"title":"My first bolg post ..."}
{"index":{"_index":"website","_type":"blog"}}
{"title":"My second blog post ..."}
{"update":{"_index":"website","_type":"blog","_id":"123"}}
{"doc":{"title":"My updated blog post ..."}}

官方测试数据：https://github.com/elastic/elasticsearch/blob/master/docs/src/test/resources/accounts.json

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/95131.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【漏洞复现】万户协同办公平台未授权访问漏洞

【漏洞复现】万户协同办公平台未授权访问漏洞

漏洞描述 万户ezOFFICE协同管理平台涵盖门户自定义平台、信息知识平台管理、系统管理平台功能，它以工作流引擎为底层服务，以通讯沟通平台为交流手段，以门户自定义平台为信息推送显示平台，为用户提供集成的协同工作环境。该平台存…
阅读更多...
软件测试面试题及答案，2023秋招必看版

软件测试面试题及答案，2023秋招必看版

导读 精选400道软件测试面试真题，高清打印版打包带走，横扫软件测试面试高频问题，涵盖测试理论、Linux、MySQL、Web测试、接口测试、APP测试、Python、Selenium、性能测试、LordRunner、计算机网络、数据结构与算法、逻辑思维、人力资源等模块…
阅读更多...
【方案】基于AI边缘计算的智慧工地解决方案

【方案】基于AI边缘计算的智慧工地解决方案

一、方案背景 在工程项目管理中，工程施工现场涉及面广，多种元素交叉，状况较为复杂，如人员出入、机械运行、物料运输等。特别是传统的现场管理模式依赖于管理人员的现场巡查。当发现安全风险时，需要提前报告&#xff0…
阅读更多...
python VTK PyQt5 VTK环境搭建 创建 渲染窗口及三维模型,包含 三维模型交互；

python VTK PyQt5 VTK环境搭建 创建 渲染窗口及三维模型,包含 三维模型交互；

目录 Part1. VTK 介绍 Part2. PyQt5 VTK环境搭建 安装Anaconda 自带Python Anaconda下载 安装PyQt5 安装 VTK Part3 :PyQt VTK 结合样例: Part1. VTK 介绍 VTK（visualization toolkit）是一个开源的免费软件系统，主要用于三维计算机图形…
阅读更多...
【Python开发环境搭建】【Pycharm设置】 新建python文件默认添加编码格式、时间、作者、文件名等信息

【Python开发环境搭建】【Pycharm设置】 新建python文件默认添加编码格式、时间、作者、文件名等信息

1、设置路径 打开pycharm，选择File->Settings（Ctrl Alt S），Editor->File and Templates->Python Script 文件- 设置-编辑器-文件和代码模板-Python Script 2、设置内容 # -*- coding: utf-8 -*- # Time : ${DATE} …
阅读更多...
SmartInspect Professional .Net Delphi Crack

SmartInspect Professional .Net Delphi Crack

SmartInspect Professional .Net & Delphi Crack SmartInspect Professional是一个用于调试和跟踪.NET、Java和Delphi软件的高级日志记录工具。它使您能够识别错误，找到客户问题的解决方案，并让您清楚地了解软件在不同环境和条件下的工作方式。可以轻…
阅读更多...
【广州华锐互动】VR沉浸式体验红军长征路：追寻红色记忆，传承红色精神

【广州华锐互动】VR沉浸式体验红军长征路：追寻红色记忆，传承红色精神

在历史的长河中，长征无疑是一段充满艰辛和英勇的伟大征程。为了让更多的人了解这段历史，我们利用虚拟现实（VR）技术，为您带来一场沉浸式的体验，重温红军万里长征的壮丽篇章。 一、踏上长征之路 戴上VR眼镜&a…
阅读更多...
Hbase--技术文档--单机docker基础安装（非高可用）

Hbase--技术文档--单机docker基础安装（非高可用）

环境准备-docker 配置Linux服务器华为云耀云服务器之docker安装，以及环境变量安装 java （虚拟机一样适用）_docker配置java环境变量_一单成的博客-CSDN博客 说明： 本文章安装方式为学习使用的单体hbase项目。主要是学习&#xff…
阅读更多...
win10+wsl2+Ubuntu20.2+Pycharm+WSL解释器

win10+wsl2+Ubuntu20.2+Pycharm+WSL解释器

目的：创建一个ubuntu系统下的python解释器，作为win平台下的pycharm的解释器。 这样做的好处是可以直接在win系统里操作文件，相比于linux方便一点，而且也不用对wsl的子系统进行迁移。 一、安装前准备 1. 设置-Windows更新-window…
阅读更多...
[C++ 网络协议] 套接字的多种可选项

[C++ 网络协议] 套接字的多种可选项

目录 1. 套接字的可选项 2. 获取/设置套接字可选项 2.1 getsockopt函数（获取套接字可选项） 2.2 setsockopt函数（设置套接字可选项） 3. 常用套接字可选项 3.1 SOL_SOCKET协议层的SO_TYPE可选项 3.2 SOL_SOCKET协议层的SO_SN…
阅读更多...
IET独立出版 | EI检索 | 2023年第三届机械、航空航天与汽车工程国际会议

IET独立出版 | EI检索 | 2023年第三届机械、航空航天与汽车工程国际会议

会议简介 Brief Introduction 2023年第三届机械、航空航天与汽车工程国际会议（CMAAE 2023） 会议时间：2023年12月8 -10日 召开地点：中国南京 大会官网：www.cmaae.org 航天是当今世界最具挑战性和广泛带动性的高技术领域…
阅读更多...
Vue3 Element-plus Upload 上传图片

Vue3 Element-plus Upload 上传图片

技术栈：Vue3 Ts Element-plus 官网地址：Upload 上传 | Element Plus 一、背景： 表单上传图片功能 二、效果： 三、流程： ①点击上传图片按钮，系统弹出文件选择对话框，选择图片并确认 ②调…
阅读更多...
nvm安装及使用说明

nvm安装及使用说明

1.说明： nvm 一个nodejs版本管理工具！ 2.官网：https://nvm.uihtm.com/ 3.卸载node.js（没安装的话忽略） 4.下载 链接：https://nvm.uihtm.com/nvm-1.1.10-setup.zip 5.nvm安装 卸载之前的node后安装nvm…
阅读更多...
SpringCloud教程 | 第二篇: 服务消费者（rest+ribbon）

SpringCloud教程 | 第二篇: 服务消费者（rest+ribbon）

在上一篇文章，讲了服务的注册和发现。在微服务架构中，业务都会被拆分成一个独立的服务，服务与服务的通讯是基于http restful的。Spring cloud有两种服务调用方式，一种是ribbonrestTemplate，另一种是feign。在这一篇文章…
阅读更多...
ADS 错误 1808可能原因 ADSError 1808

ADS 错误 1808可能原因 ADSError 1808

​ 调试问题记录： 背景： Ads调试时遇到错误，返回码是 1808，查询倍福官网 得出1808错误原因是 symbol not found 原因： ADSError: symbol not found (1808). Possible incorrect runtime port selected 可能是ads的地…
阅读更多...
【计算机网络】序列化与反序列化

【计算机网络】序列化与反序列化

文章目录 1. 如何处理结构化数据？序列化 与 反序列化 2. 实现网络版计算器1. Tcp 套接字的封装——sock.hpp创建套接字——Socket绑定——Bind将套接字设置为监听状态——Listen获取连接——Accept发起连接——Connect 2. 服务器的实现 ——TcpServer.hpp初始化启动…
阅读更多...
MATLAB算法实战应用案例精讲-【自然语言处理】语义分割模型-DeepLabV3

MATLAB算法实战应用案例精讲-【自然语言处理】语义分割模型-DeepLabV3

目录 1、DeepLab系列简介 1.1.DeepLabV1 1.1.1创新点： 1.1.2. 动机： 1.1.3. 应对策略： 1.2.DeepLabV2 1.2.1.创新点： 1.2.2.动机 1.2.3. 应对策略： 1.3.DeepLabV3 1.3.1创新点： 1.3.2. 动机&am…
阅读更多...
GD32-舵机的原理

GD32-舵机的原理

GD32-舵机的原理 舵机的现一脉宽与舵机转动角度 旋转编码器的原理 顺时针：A的下降沿时，B处于高电平； 逆时针：A的下降沿时，B处于低电平； #ifndef _ENCODER_DRIVE_H #define _ENCODER_DRIVE_H#include &quo…
阅读更多...
kafka--技术文档--基本docker中安装＜单机＞-linux

kafka--技术文档--基本docker中安装＜单机＞-linux

安装zookeeper 阿丹小科普： Kafka在0.11.0.0版本之后不再依赖Zookeeper，而是使用基于Raft协议的Kafka自身的仲裁机制来替代Zookeeper。具体来说，Kafka 2.8.0版本是第一个不需要Zookeeper就可以运行Kafka的版本，这被称为Kafka Raf…
阅读更多...
视频中的声音怎么提取出来？这样做提取出来很简单

视频中的声音怎么提取出来？这样做提取出来很简单

提取视频中的声音可以有多种用途。例如，我们可能希望从视频中提取音乐或音效，以在其他项目中使用。或者，可能需要将视频中的对话转录为文本，以便更轻松地编辑和共享内容。无论目的是什么，提取视频中的声音都可以帮助我…
阅读更多...
最新文章

Copyright @ 2022~2023