Elasticsearch架构原理

一. Elasticsearch架构原理

1、Elasticsearch的节点类型

在Elasticsearch主要分成两类节点，一类是Master，一类是DataNode。

1.1 Master节点

在Elasticsearch启动时，会选举出来一个Master节点。当某个节点启动后，然后使用Zen Discovery机制找到集群中的其他节点，建立连接，并从候选主节点中选举出一个主节点。
Master节点主要负责：

  1. 处理创建，删除索引等请求，负责索引的创建与删除
  2. 决定分片被分配到哪个节点
  3. 维护并且更新Cluster State

Master Node的最佳实践

  1. Master节点非常重要，在部署上需要考虑解决单点的问题
  2. 为一个集群设置多个Master节点，每个节点只承担Master 的单一角色

选主的过程

  1. 互相Ping对方，Node ld 低的会成为被选举的节点
  2. 其他节点会加入集群，但是不承担Master节点的角色。一旦发现被选中的主节点丢失，就会选举出新的Master节点
1.2 DataNode节点

在Elasticsearch集群中，会有N个DataNode节点。DataNode节点主要负责：数据写入、数据检索，大部分Elasticsearch的压力都在DataNode节点上在生产环境中，内存最好配置大一些。
可以保存数据的节点，叫做Data Node，负责保存分片数据。在数据扩展上起到了至关重要的作用。
节点启动后，默认就是数据节点，可以设置node.data: false 禁止。
由Master Node决定如何把分片分发到数据节点上，通过增加数据节点可以解决数据水平扩展和解决数据单点问题。

1.3 Coordinating Node
  1. 负责接受Client的请求， 将请求分发到合适的节点，最终把结果汇集到一起。
  2. 每个节点默认都起到了Coordinating Node的职责。

1.4 其他节点

  1. Master eligible nodes：可以参与选举的合格节点
    Master eligible nodes和Master Node
    每个节点启动后，默认就是一个Master eligible节点
    ○ 可以设置 node.master: false禁止
  2. Master-eligible节点可以参加选主流程，成为Master节点
    当第一个节点启动时候，它会将自己选举成Master节点
    每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
    ○ 集群状态(Cluster State) ，维护了一个集群中，必要的信息
    ■ 所有的节点信息
    ■ 所有的索引和其相关的Mapping与Setting信息
    ■ 分片的路由信息
  3. Hot & Warm Node
    ○ 不同硬件配置 的Data Node,用来实现Hot & Warm架构，降低集群部署的成本
  4. Ingest Node
    ○ 数据前置处理转换节点，支持pipeline管道设置，可以使用ingest对数据进行过滤、转换等操作
  5. Machine Learning Node
    ○ 负责跑机器学习的Job，用来做异常检测
  6. Tribe Node
    ○ Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理

二 、分片和副本机制

2.1 分片（Primary Shard & Replica Shard）

Elasticsearch是一个分布式的搜索引擎，索引的数据也是分成若干部分，分布在不同的服务器节点中。分布在不同服务器节点中的索引数据，就是分片（Shard）。Elasticsearch会自动管理分片，如果发现分片分布不均衡，就会自动迁移一个索引（index）由多个shard（分片）组成，而分片是分布在不同的服务器上的

2.1.1 主分片（Primary Shard）
  • 用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上
  • 一个分片是一个运行的Lucene的实例
  • 主分片数在索引创建时指定，后续不允许修改，除非Reindex
2.1.2 副本分片（Replica Shard）
  • 用以解决数据高可用的问题。 副本分片是主分片的拷贝
  • 副本分片数，可以动态调整
  • 增加副本数，还可以在一定程度上提高服务的可用性(读取的吞吐)
    分片的设定

对于生产环境中分片的设定，需要提前做好容量规划

2.1.3 分片数设置过小
  • 导致后续无法增加节点实现水平扩展
  • 单个分片的数据量太大，导致数据重新分配耗时
2.1.4 分片数设置过大，

7.0 开始，默认主分片设置成1，解决了over-sharding（分片过度）的问题

  • 影响搜索结果的相关性打分，影响统计结果的准确性
  • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

指定索引的主分片和副本分片数

PUT /blogs
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1 // 0或1 
  }
}

#查看集群的健康状况
GET _cluster/health

2.2 副本

为了对Elasticsearch的分片进行容错，假设某个节点不可用，会导致整个索引库都将不可用。所以，需要对分片进行副本容错。每一个分片都会有对应的副本。在Elasticsearch中，默认创建的索引为1个分片、每个分片有1个主分片和1个副本分片。每个分片都会有一个Primary Shard（主分片），也会有若干个Replica Shard（副本分片）
Primary Shard和Replica Shard不在同一个节点上

2.3 指定分片、副本数量

// 创建指定分片数量、副本数量的索引
在这里插入图片描述

2.4 集群status

● Green: 主分片与副本都正常分配
● Yellow: 主分片全部正常分配，有副本分片未能正常分配
● Red: 有主分片未能分配。例如，当服务器的磁盘容量超过85%时,去创建了一个新的索引
CAT API查看集群信息：

GET /_cat/nodes?v   #查看节点信息
GET /_cat/health?v    #查看集群当前状态：红、黄、绿
GET /_cat/shards?v        #查看各shard的详细情况  
GET /_cat/shards/{index}?v     #查看指定分片的详细情况
GET /_cat/master?v          #查看master节点信息
GET /_cat/indices?v         #查看集群中所有index的详细信息
GET /_cat/indices/{index}?v      #查看集群中指定index的详细信息

三、Elasticsearch重要工作流程

3.1 Elasticsearch文档写入原理

在这里插入图片描述

1.选择任意一个DataNode发送请求，例如：node2。此时，node2就成为一个coordinating node（协调节点）
2.计算得到文档要写入的分片 shard = hash(routing) % number_of_primary_shards routing 是一个可变值，默认是文档的 _id
3.coordinating node会进行路由，将请求转发给对应的primary shard所在的DataNode（假设primary shard在node1、replica shard在node2）
4.node1节点上的Primary Shard处理请求，写入数据到索引库中，并将数据同步到Replica shard
5.Primary Shard和Replica Shard都保存好了文档，返回client.

注意：es路由分片规则是 shard = hash(routing) % number_of_primary_shards，其中number_of_primary_shards为分片数。

3.2 Elasticsearch检索原理

在这里插入图片描述

  1. client发起查询请求，某个DataNode接收到请求，该DataNode就会成为协调节点（Coordinating Node）
    2.协调节点（Coordinating Node）将查询请求广播到每一个数据节点，这些数据节点的分片会处理该查询请求
    3.每个分片进行数据查询，将符合条件的数据放在一个优先队列中，并将这些数据的文档ID、节点信息、分片信息返回给协调节点 协调节点将所有的结果进行汇总，并进行全局排序
    4.协调节点向包含这些文档ID的分片发送get请求，对应的分片将文档数据返回给协调节点，最后协调节点将数据返回给客户端

如何对集群的容量进行规划

一个集群总共需要多少个节点?一个索引需要设置几个分片？规划上需要保持一定的余量，当负载出现波动，节点出现丢失时，还能正常运行。
做容量规划时，一些需要考虑的因素：
● 机器的软硬件配置
● 单条文档的大小│文档的总数据量│索引的总数据量（(Time base数据保留的时间)|副本分片数
● 文档是如何写入的(Bulk的大小)
● 文档的复杂度，文档是如何进行读取的(怎么样的查询和聚合)

评估业务的性能需求：
● 数据吞吐及性能需求
○ 数据写入的吞吐量，每秒要求写入多少数据?
○ 查询的吞吐量?
○ 单条查询可接受的最大返回时间?
● 了解你的数据
○ 数据的格式和数据的Mapping
○ 实际的查询和聚合长的是什么样的

ES集群常见应用场景：
● 搜索: 固定大小的数据集
○ 搜索的数据集增长相对比较缓慢
● 日志: 基于时间序列的数据
○ 使用ES存放日志与性能指标。数据每天不断写入，增长速度较快
○ 结合Warm Node 做数据的老化处理

硬件配置：
● 选择合理的硬件，数据节点尽可能使用SSD
● 搜索等性能要求高的场景，建议SSD
○ 按照1∶10的比例配置内存和硬盘
● 日志类和查询并发低的场景，可以考虑使用机械硬盘存储
○ 按照1:50的比例配置内存和硬盘
● 单节点数据建议控制在2TB以内，最大不建议超过5TB
● JVM配置机器内存的一半，JVM内存配置不建议超过32G
● 不建议在一台服务器上运行多个节点

内存大小要根据Node 需要存储的数据来进行估算
● 搜索类的比例建议: 1:16
● 日志类: 1:48——1:96之间
假设总数据量1T，设置一个副本就是2T总数据量
● 如果搜索类的项目，每个节点3116 = 496 G，加上预留空间。所以每个节点最多400G数据，至少需要5个数据节点
● 如果是日志类项目，每个节点3150= 1550 GB，2个数据节点即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/444313.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

指针数组和数组指针（详细解释）

指针数组和数组指针（详细解释）

指针数组 指针数组的作用 指针数组和数组指针是C语言中常用的概念，它们分别有不同的作用和用法。 指针数组： 指针数组是一个数组，其中的每个元素都是指针类型。它可以用来存储多个指针，每个指针可以指向不同的数据类型或者相同…
阅读更多...
Pytorch学习 day08（最大池化层、非线性激活层、正则化层、循环层、Transformer层、线性层、Dropout层）

Pytorch学习 day08（最大池化层、非线性激活层、正则化层、循环层、Transformer层、线性层、Dropout层）

最大池化层 最大池化，也叫上采样，是池化核在输入图像上不断移动，并取对应区域中的最大值，目的是：在保留输入特征的同时，减小输入数据量，加快训练。参数设置如下： kernel_size&#…
阅读更多...
类与对象-对象特性

类与对象-对象特性

师从黑马程序员 对象的初始化和清理 构造函数和析构函数 用于完成对象的初始化和清理工作 如果我们不提供构造和析构，编译器会提供编译器提供的构造函数和析构函数是空实现 构造函数：主要用于创建对象时为对象的成员属性赋值，构造函数由编…
阅读更多...
了解华为（PVID VLAN）与思科的（Native VLAN）本征VLAN的区别并学习思科网络中二层交换机的三层结构局域网VLAN配置

了解华为（PVID VLAN）与思科的（Native VLAN）本征VLAN的区别并学习思科网络中二层交换机的三层结构局域网VLAN配置

一、什么是二层交换机？ 二层交换机（Layer 2 Switch）是一种网络设备，主要工作在OSI模型的数据链路层（第二层），用于在局域网内部进行数据包的交换和转发。二层交换机通过学习MAC地址表&#xff0…
阅读更多...
毅速3D打印随形透气钢：模具困气排气革新之选

毅速3D打印随形透气钢：模具困气排气革新之选

在注塑生产过程中，模具内的气体若无法有效排出，往往会引发困气现象，导致产品表面出现气泡、烧焦等瑕疵。这些瑕疵不仅影响产品的美观度，更可能对其性能造成严重影响，甚至导致产品报废，从而增加生产成本。 传…
阅读更多...
政安晨：【深度学习处理实践】（四）—— 实施一个温度预测示例

政安晨：【深度学习处理实践】（四）—— 实施一个温度预测示例

在开始使用像黑盒子一样的深度学习模型解决温度预测问题之前，我们先尝试一种基于常识的简单方法。 它可以作为一种合理性检查，还可以建立一个基准，更高级的机器学习模型需要超越这个基准才能证明其有效性。对于一个尚没有已知解决方案的新问…
阅读更多...
Linux之生产消费者模型

Linux之生产消费者模型

(｡･∀･)ﾉﾞ嗨！你好这里是ky233的主页：这里是ky233的主页，欢迎光临~https://blog.csdn.net/ky233?typeblog 点个关注不迷路⌯▾⌯ 我们在条件满足的时候，唤醒指定的线程&a…
阅读更多...
超越Chain-of-Thought LLM 推理

超越Chain-of-Thought LLM 推理

原文地址：Beyond Chain-of-Thought LLM Reasoning 2024 年 2 月 13 日 介绍 最近的一项研究解决了需要增强大型语言模型 (LLM) 的推理能力，超越直接推理 (Direct Reasoning，DR) 框架，例如思想链和自我一致性，这些框架可…
阅读更多...
分割模型TransNetR的pytorch代码学习笔记

分割模型TransNetR的pytorch代码学习笔记

这个模型在U-net的基础上融合了Transformer模块和残差网络的原理。 论文地址：https://arxiv.org/pdf/2303.07428.pdf 具体的网络结构如下： 网络的原理还是比较简单的， 编码分支用的是预训练的resnet模块，解码分支则重新设计了。…
阅读更多...
HTML入门：属性

HTML入门：属性

你好，我是云桃桃。今天来聊一聊 HTML 属性写法和特点。 HTML 属性是用于向 HTML 标签（也叫 HTML 元素）提供附加信息或配置的特性。 如果说，把HTML 标签比作一个房子，HTML 标签定义了房子的结构和用途，比如…
阅读更多...
基于SpringBoot的闲置房屋搜索平台设计与实现

基于SpringBoot的闲置房屋搜索平台设计与实现

目 录 摘 要 I Abstract II 引 言 1 1相关技术 3 1.1 jQuery技术简介 3 1.2 SpringBoot框架简介 3 1.3 Bootstrap框架简介 4 1.4 ECharts框架简介 4 1.5 百度地图API简介 4 1.6 Ajax技术简介 5 1.7 MySQL数据库简介 5 1.8本章小结 6 2系统分析 7 2.1功能需求 7 2.2非功能需求 …
阅读更多...
微软财务GPT Excel Copilot for Finance使用攻略

微软财务GPT Excel Copilot for Finance使用攻略

功能本身不收费，但是这个功能需要微软的商业版office账号才能使用，如果你没有账号，可以直说。 在桌面Excel软件中登录账号后，点击“copilot for finance”按钮，如果没有出现，则点击“加载项”，…
阅读更多...
2024 年中国高校大数据挑战赛赛题 D：行业职业技术培训能力评价完整思路以及源代码分享

2024 年中国高校大数据挑战赛赛题 D：行业职业技术培训能力评价完整思路以及源代码分享

中国是制造业大国，产业门类齐全，每年需要培养大量的技能娴 熟的技术工人进入工厂。某行业在全国有多所不同类型（如国家级、 省级等）的职业技术培训学校，进行 5 种技能培训。学员入校时需要 进行统一的技能考核&#xf…
阅读更多...
简述epoll实现

简述epoll实现

所有学习笔记：https://github.com/Dusongg/StudyNotes 文章目录 epoll数据结构的选择？以tcp为例，网络io的可读可写如何判断？epoll如何做到线程安全？LT和ET如何实现？tcp状态和io的读写有哪些关系&#xff1…
阅读更多...
文本生成视频：从 Write-a-video到 Sora

文本生成视频：从 Write-a-video到 Sora

2024年2月15日，OpenAI 推出了其最新的文本生成视频模型——Sora。Sora 能够根据用户的指令生成一分钟长度的高质量视频内容。这一创新的发布迅速在社会各界引发了广泛关注与深入讨论。本文将围绕本实验室发表于SIGGRAPH AISA 的 Write-a-video和 Sora 展开&#xff…
阅读更多...
CPU设计实战-协处理器访问指令的实现

CPU设计实战-协处理器访问指令的实现

目录 一 协处理器的作用与功能 1.计数寄存器和比较寄存器 2.Status寄存器 3.Cause寄存器(标号为13) 4.EPC寄存器(标号为14) 5.PRId寄存器(标号为15) 6.Config 寄存器(标号为16)-配置寄存器 二 协处理器的实现 三 协处理器访问指令说明 四 具体实现 1.译码阶段 2.执行…
阅读更多...
git命令行提交——github

git命令行提交——github

1. 克隆仓库至本地 git clone 右键paste（github仓库地址） cd 仓库路径（进入到仓库内部准备提交文件等操作） 2. 查看main分支 git branch（列出本地仓库中的所有分支） 3. 创建新分支（可省…
阅读更多...
Edu18 -- Divide by Three --- 题解

Edu18 -- Divide by Three --- 题解

目录 Divide by Three： 题目大意： ​编辑​编辑思路解析： 代码实现： Divide by Three： 题目大意： 思路解析： 一个数字是3的倍数，那么他的数位之和也是3的倍数，所以我…
阅读更多...
安信可IDE（AiThinker_IDE）编译ESP8266工程方法

安信可IDE（AiThinker_IDE）编译ESP8266工程方法

0 工具准备 AiThinker_IDE.exe ESP8266工程源码 1 安信可IDE（AiThinker_IDE）编译ESP8266工程方法 1.1 解压ESP8266工程文件夹 我们这里使用的是NON-OS_SDK，将NON-OS_SDK中的1_UART文件夹解压到工作目录即可 我这里解压到了桌面&#xff0c…
阅读更多...
WiFi模块助力少儿编程：创新学习与实践体验

WiFi模块助力少儿编程：创新学习与实践体验

随着科技的飞速发展，少儿编程已经成为培养孩子们创造力和问题解决能力的重要途径之一。在这个过程中，WiFi模块的应用为少儿编程领域注入了新的活力，使得学习编程不再是单一的代码教学，而是一个充满创新与实践的综合性体验。 物联网…
阅读更多...
最新文章

Copyright @ 2022~2023