K8S核心组件etcd详解（上）

1 介绍

https://etcd.io/docs/v3.5/

etcd是一个高可用的分布式键值存储系统，是CoreOS（现在隶属于Red Hat）公司开发的一个开源项目。它提供了一个简单的接口来存储和检索键值对数据，并使用Raft协议实现了分布式一致性。etcd广泛应用于Docker、Kubernetes等分布式系统中，用于存储配置信息、服务发现、领导者选举等方面。

2 etcd高可用集群部署

2.1 服务器配置

主机名ip地址cpu数量内存数量
etcd1172.18.101.3948
etcd2172.18.101.4048
etcd3172.18.101.4148

2.2 部署etcd集群

安装包下载地址

https://github.com/etcd-io/etcd/tags

以下操作在三个etcd节点上进行

[root@etcd-1 ~]# wget https://github.com/etcd-io/etcd/releases/download/v3.4.27/etcd-v3.4.27-linux-amd64.tar.gz
[root@etcd-1 ~]# tar xvf etcd-v3.4.27-linux-amd64.tar.gz
[root@etcd-1 ~]# mv etcd-v3.4.27-linux-amd64/etcd* /usr/local/bin/ ##复制etcd命令文件
[root@etcd-1 ~]# mkdir -p /var/lib/etcd/   ##创建数据存放目录
[root@etcd-1 ~]# mkdir -p /etc/etcd ##创建配置文件存放目录

三个节点设置etcd配置文件，三个节点的防火墙要放行2379及2380端口

#etcd节点1
[root@etcd-1 ~]# cat /etc/etcd/etcd.conf
ETCD_NAME=etcd1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.39:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.39:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.39:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.39:2379"

#etcd节点2
[root@etcd-2 ~]# cat /etc/etcd/etcd.conf
ETCD_NAME=etcd2
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.40:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.40:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.40:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.40:2379"

#etcd节点3
[root@etcd-3 ~]# cat /etc/etcd/etcd.conf
ETCD_NAME=etcd3
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.41:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.41:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.41:2379"

  • ETCD_NAME：指定ETCD节点的名称。每个节点在集群中应具有唯一的名称，以便进行识别和通信。

  • ETCD_DATA_DIR：指定ETCD存储数据的目录路径。ETCD使用此目录来持久化存储数据。

  • ETCD_LISTEN_PEER_URLS：指定ETCD节点监听对等节点连接的URL。对等URL用于节点之间的通信和数据同步。

  • ETCD_LISTEN_CLIENT_URLS：指定ETCD节点监听客户端连接的URL列表。客户端URL用于与ETCD集群进行交互，例如执行读取或写入操作。

  • ETCD_INITIAL_ADVERTISE_PEER_URLS：指定ETCD节点初始公告对等节点连接的URL。当新节点加入集群时，将向其他节点宣告自己的URL，以便其他节点可以找到并连接到它。

  • ETCD_INITIAL_CLUSTER：指定ETCD集群的初始成员列表及其对等节点连接URL。每个成员由名称和对等节点连接URL组成，用逗号分隔。在启动集群时，指定初始成员列表用于插入新节点。

  • ETCD_INITIAL_CLUSTER_STATE：指定ETCD集群的初始状态。可选值为"new"和"existing"。"new"表示创建一个新的集群，"existing"表示已经存在的集群。

  • ETCD_INITIAL_CLUSTER_TOKEN：指定ETCD集群的初始令牌。所有成员在启动时应使用相同的令牌，以便它们可以识别和加入相同的集群。

  • ETCD_ADVERTISE_CLIENT_URLS：指定ETCD节点公告给客户端的连接URL。客户端连接URL用于向应用程序或工具公开ETCD节点，以便进行读取和写入操作。

配置systemd管理etcd，三个节点配置相同

[root@etcd-1 ~]# cat /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
User=root
Type=notify
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd
Restart=on-failure
RestartSec=10s
LimitNOFILE=40000

[Install]
WantedBy=multi-user.target

三个节点上启动服务

[root@etcd-1 ~]# systemctl enable etcd
[root@etcd-1 ~]# systemctl start etcd

2.3 部署后集群状态检查

2.3.1 查看集群成员

[root@etcd-1 ~]# etcdctl member list ##列出集群成员
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false
9f9b71960dcb7180, started, etcd3, http://172.18.101.41:2380, http://172.18.101.41:2379, false
[root@etcd-1 ~]# etcdctl -w table endpoint status --endpoints=172.18.101.39:2379,172.18.101.40:2379,172.18.101.41:2379 ##查看集群leader是哪个节点
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|     ENDPOINT     |       ID       | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| 172.18.101.39:2379 | 9a04401d57e3afba |  3.4.27 |   20 kB |      true |      false |       123 |         14 |                 14 |       |
| 172.18.101.40:2379 | 916281517eb238d9 |  3.4.27 |   20 kB |     false |      false |       123 |         14 |                 14 |       |
| 172.18.101.41:2379 | 9f9b71960dcb7180 |  3.4.27 |   20 kB |     false |      false |       123 |         14 |                 14 |       |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

图片

2.3.2 查看集群成员的健康状态

[root@etcd-1 ~]# etcdctl -w table endpoint health --endpoints=172.18.101.39:2379,172.18.101.40:2379,172.18.101.41:2379
+--------------------+--------+------------+-------+
|     ENDPOINT     | HEALTH |   TOOK   | ERROR |
+--------------------+--------+------------+-------+
| 172.18.101.39:2379 |   true | 2.190331ms |       |
| 172.18.101.41:2379 |   true | 2.517434ms |       |
| 172.18.101.40:2379 |   true |  3.06371ms |       |
+--------------------+--------+------------+-------+

图片

3 某个节点异常如何处理

  • 使用命令移除节点

  • 删除异常节点数据目录

  • 重新将节点添加至集群

3.1 移除节点

假设etcd3出现了异常

[root@etcd-1 ~]# etcdctl member list ##第一列为节点的id
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false
9f9b71960dcb7180, started, etcd3, http://172.18.101.41:2380, http://172.18.101.41:2379, false
[root@etcd-1 ~]#
[root@etcd-1 ~]# etcdctl member remove 9f9b71960dcb7180 ##通过节点的id将节点删除
Member 9f9b71960dcb7180 removed from cluster 8356fccf618a037f
[root@etcd-1 ~]# etcdctl member list
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false

3.2 删除异常节点的数据目录

[root@etcd-3 ~]# rm -rf /var/lib/etcd
[root@etcd-3 ~]# cat /etc/etcd/etcd.conf ##修改ETCD_INITIAL_CLUSTER_STATE为exsiting
ETCD_NAME=etcd3
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.41:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.41:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="existing"  ##修改为existing
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.41:2379"

图片

3.3 将节点添加至集群

[root@etcd-1 ~]# etcdctl member add etcd3 --peer-urls=http://172.18.101.41:2380
Member 51fc8f5f71060fdc added to cluster 8356fccf618a037f
[root@etcd-1 ~]# etcdctl member list ##可以看到节点添加后处于一个未启动的状态，需要手动去etcd-3节点上启动一下etcd服务
51fc8f5f71060fdc, unstarted, , http://172.18.101.41:2380, , false
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false

图片

在etcd-3上启动服务即可

[root@etcd-3 ~]# systemctl start etcd
[root@etcd-1 ~]# etcdctl member list ##重新添加后，节点的id会变，属于正常现象
51fc8f5f71060fdc, started, etcd3, http://172.18.101.41:2380, http://172.18.101.41:2379, false
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false

4 etcdctl增删改查操作

https://github.com/etcd-io/etcd/tree/main/etcdctl

etcdctl 是用于与 ETCD 进行交互的命令行工具，它提供了一系列命令和选项，用于检索、设置、修改和删除 ETCD 中的数据。

4.1 etcd的数据存储模型

前面介绍过，etcd是一个分布式的键值存储系统。etcd在键的组织上采用了层次化的空间结构，类似于文件系统中目录的概念。但是并不存在目录的那种层级关系。

例如现在

类似于文件系统中的目录（文件夹）结构，ETCD的命名空间允许以键的层次结构来组织数据，并且每个键可以唯一地标识一个节点。顶层节点被称为根节点，然后可以在根节点下创建子节点，子节点又可以包含更多子节点，以此类推。这种层次化的结构可以用于将数据进行分类、分类和组织。

例如，假设我们有以下目录结构：

  • /singless/test

  • /singless/test/gender

在上述示例中/singless/test和/singless/test/gender，有类似于目录一样的共同的索引前缀/和/singless，但是并不存在目录的那种层级关系。它们都可以作为一个key存储相应的value。

4.2 增和改

增加数据和修改数据需要用到put命令进行操作

[root@etcd-1 ~]# etcdctl put /singless/test/gender male ##创建一个键/singless/test/gender，值为male
OK
[root@etcd-1 ~]# etcdctl put /singless/test true ##创建一个键/singless/test，值为test
OK

图片

4.3 查询操作

查询操作需要使用到get参数

[root@etcd-1 ~]# etcdctl get /singless/test/gender ##根据具体的key查询对应的值
/singless/test/gender
male
[root@etcd-1 ~]# etcdctl get --prefix / ##根据索引前缀查询，这里查询的是以/为前缀的key、value，所以能看到所有的键值对
/singless/test
true
/singless/test/gender
male
[root@etcd-1 ~]# etcdctl put /singless/test false ##使用put修改键/singless/test的value
OK
[root@etcd-1 ~]# etcdctl get /singless/test
/singless/test
false

图片

4.4 删除操作

删除操作使用del命令

[root@etcd-1 ~]# etcdctl del /singless/test ##可以指定key进行删除
1
[root@etcd-1 ~]# etcdctl get --prefix /
/singless/test/gender
male
[root@etcd-1 ~]# etcdctl del --prefix / ##也可以执行索引前缀进行删除
1
[root@etcd-1 ~]# etcdctl get --prefix /

5 k8s中的etcd

5.1 介绍

k8s中所有对象的manifest都需要保存到某个地方，这样他们的manifest在api server重启和失败的时候才不会丢失，因此引入了etcd。在k8s中只有api server和etcd直接交互，其它组件都通过api server间接和etcd交互，这样做的好处如下。

  • 增强乐观锁系统及验证系统的健壮性

  • 方便后续存储的替换，只需修改api server组件的相关接口。

etcd是一个响应快、分布式、一致的KV存储，也是k8s存储集群状态和元数据的唯一地方。

图片

5.2 查看k8s中etcd存储的数据

[root@k8s-master01 ~]# kubectl get pod -n kube-system |grep etcd
etcd-k8s-master01                          1/1     Running   1             47d
etcd-k8s-master02                          1/1     Running   0             47d
etcd-k8s-master03                          1/1     Running   0             47d
[root@k8s-master01 ~]#
[root@k8s-master01 ~]# kubectl exec -it -n kube-system etcd-k8s-master01 -- /bin/sh
sh-5.1# etcdctl member list --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key
15c808b23512a31a, started, k8s-master02, https://10.0.107.77:2380, https://10.0.107.77:2379, false
5ca9692dbcd57e55, started, k8s-master03, https://10.0.113.204:2380, https://10.0.113.204:2379, false
f8b45063ae1a7dfa, started, k8s-master01, https://10.0.87.66:2380, https://10.0.87.66:2379, false

k8s中的etcd需要使用到证书进行认证

图片

查看etcd中存储的数据，可以手动在master节点上安装etcdctl命令

[root@k8s-master01 ~]# export ETCDCTL_API=3 ##指定使用的api版本
[root@k8s-master01 ~]# etcdctl get --prefix "" --endpoints=10.0.87.66:2379,10.0.107.77:2379,10.0.113.204:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key |head -2

--endpoints指定etcd节点，另外要使用到k8s证书，证书通常在/etc/kubernetes/pki/目录下，以下输出可以看到etcd中存储的k8s相关的键值数据。

图片

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/79193.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结

国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结

目录 1、国产化系统概述 1.1、国产化操作系统与国产化CPU 1.2、国产化服务器操作系统 1.3、当前国产化系统的主流配置 2、视频解码花屏与卡顿问题 2.1、视频解码花屏 2.2、视频解码卡顿 2.3、关于I帧和P帧的说明 3、国产显卡处理速度慢导致图像卡顿问题 3.1、视频延…
阅读更多...
【Android Framework (十二) 】- 智能硬件设备开发

【Android Framework (十二) 】- 智能硬件设备开发

文章目录 前言智能硬件的定义与应用智能硬件产品开发流程智能硬件开发所涉及的技术体系概述关于主板选型主板CPU芯片的选择关于串口通信 总结 前言 针对我过往工作经历，曾在一家智能科技任职Android开发工程师，简单介绍下关于任职期间接触和开发过的一些…
阅读更多...
后端返回图片资源错误404，前端使用默认图片

后端返回图片资源错误404，前端使用默认图片

后端返回的图片资源可能会因为各种原因（后台误删，地址更改未及时更新，损毁）出现无法展示的情况，比如这种报错 就会导致图片资源错误，页面出现这种情况 用户体验很不好，为了改善这种情况&#xf…
阅读更多...
第6章：支持向量机

第6章：支持向量机

间隔与支持向量 w为法向量，决定的是超平面的方向。b是偏移项，决定了超平面与原点之间的距离。 为什么最大化间隔，得到的就是最优平面呢？ 当超平面没有正确划分正负样本时，几何间隔为负数。几何间隔，各个…
阅读更多...
chatglm llm实时流api接口及post访问

chatglm llm实时流api接口及post访问

参考： https://github.com/THUDM/ChatGLM-6B/pull/573/commits/02947052eefe392fd9f9632894e9551a805c6109 https://github.com/THUDM/ChatGLM-6B/pull/573 1、代码： 提前安装： sse_starlette、fastapi python stream_api.pystream_api.p…
阅读更多...
ssm社区管理与服务系统源码和论文

ssm社区管理与服务系统源码和论文

ssm社区管理与服务的设计与实现031 开发工具：idea 数据库mysql5.7 数据库链接工具：navcat,小海豚等 技术：ssm 研究背景 当今时代是飞速发展的信息时代。在各行各业中离不开信息处理，这正是计算机被广泛应用于信息管理系统的…
阅读更多...
安装和配置 Ansible

安装和配置 Ansible

安装和配置 Ansible 按照下方所述，在控制节点 control.area12.example.com 上安装和配置 Ansible： 安装所需的软件包 创建名为 /home/curtis/ansible/inventory 的静态清单文件，以满足以下要求： node1 是 dev 主机组的成员 node2 …
阅读更多...
MYSQL 作业三

MYSQL 作业三

创建一个student表格： create table student( id int(10) not null unique primary key, name varchar(20) not null, sex varchar(4), birth year, department varchar(20), address varchar(50) ); 创建一个score表格 create table score( id int(10) n…
阅读更多...
开发测试框架一 - 创建springboot工程及基础操作

开发测试框架一 - 创建springboot工程及基础操作

一、创建及运行方式 1. 从官网导入： 注意：由于我的java版本是1.8；所以选中了spring2.7.14；如果你的java版本是9及以上，选中spring3相关的同时Java 版本也要对应起来 2. 创建第一个get请求 创建Controller package及…
阅读更多...
opencv实战项目 手势识别-手势控制鼠标

opencv实战项目 手势识别-手势控制鼠标

手势识别系列文章目录 手势识别是一种人机交互技术，通过识别人的手势动作，从而实现对计算机、智能手机、智能电视等设备的操作和控制。 1. opencv实现手部追踪（定位手部关键点） 2.opencv实战项目 实现手势跟踪并返回位置信息&…
阅读更多...
2019年9月全国计算机等级考试真题（C语言二级）

2019年9月全国计算机等级考试真题（C语言二级）

2019年9月全国计算机等级考试真题（C语言二级） 第1题 1、“商品”与“顾客”两个实体集之间的联系一般是 A. 一对一 B. 一对多 C. 多对一 D. 多对多 正确答案：D 第2题 定义学生选修课程的关系模式：SC（S#&#xff0c…
阅读更多...
.netcore grpc双向流方法详解

.netcore grpc双向流方法详解

一、双向流处理概述 简单来讲客户端可以向服务端发送消息流，服务端也可以向客户端传输响应流，即客户端和服务端可以互相通讯客户端无需发送消息即可开始双向流式处理调用 。 客户端可选择使用 RequestStream.WriteAsync 发送消息。 使用 ResponseStream…
阅读更多...
Golang 基础语法问答

Golang 基础语法问答

使用值为 nil 的 slice、map 会发生什么？ 允许对值为 nil 的 slice 添加元素，但是对值为 nil 的 map 添加元素时会造成运行时 panic。 // map错误示例 func main() {var m map[string]intm["one"] 1 // error: panic: assignment to entry …
阅读更多...
（5）所有角色数据分析页面的构建-5

（5）所有角色数据分析页面的构建-5

所有角色数据分析页面，包括一个时间轴柱状图、六个散点图、六个柱状图(每个属性角色的生命值/防御力/攻击力的max与min的对比)。 """绘图""" from pyecharts.charts import Timeline from find_type import FindType import pandas …
阅读更多...
特殊链表（循环单链表，循环双链表，静态链表）

特殊链表（循环单链表，循环双链表，静态链表）

目录 1.循环单链表的初始化 2.循环双链表 3. 静态链表 (1)静态链表的初始化 (2)静态链表的插入 1.循环单链表的初始化 typedef int ElemType; typedef struct LNode{ElemType data;struct LNode *next;}LNode,*LinkList;bool InitList(LinkList &L) {L(LNode*)malloc(…
阅读更多...
微服务基础概念【内含图解】

微服务基础概念【内含图解】

目录 拓展补充： 单体架构 分布式架构 面向服务的体系结构 云原生 微服务架构 什么是微服务？ 微服务定义 拓展补充： 单体架构 单体架构：将业务的所有功能集中在一个项目中开发，最终打成一个包部署 优点&#x…
阅读更多...
Zabbix-6.4.4 邮箱告警SMS告警配置

Zabbix-6.4.4 邮箱告警SMS告警配置

目录 ​------------------------- # 邮箱告警 ---------------------------------- 1.安装mailx与postfix软件包 2.修改mailx配置文件 3. 创建文件夹 4. 编写mail-send.sh脚本 5. 将该脚本赋予执行权限 6. 进入web界面进行设置—> Alerts —> Media Types 7. 添…
阅读更多...
uniapp小程序实现上传图片功能，并显示上传进度

uniapp小程序实现上传图片功能，并显示上传进度

效果图： 实现方法： 一、通过uni.chooseMedia(OBJECT)方法，拍摄或从手机相册中选择图片或视频。 官方文档链接: https://uniapp.dcloud.net.cn/api/media/video.html#choosemedia uni.chooseMedia({count: 9,mediaType: [image,video],so…
阅读更多...
Apache-DBUtils

Apache-DBUtils

目录 封装方法 引出dbutils 案例 当关闭connection后，resultset结果集就无法使用了，这就使得resultset不利于数据的管理 封装方法 我们可以将结果集先存储在一个集合中，当connection关闭后，我们可以通过访问集合来访问结果集 …
阅读更多...
7.11 Java方法重写

7.11 Java方法重写

7.11 Java方法重写 这里首先要确定的是重写跟属性没有关系，重写都是方法的重写，与属性无关 带有关键字Static修饰的方法的重写实例 父类实例 package com.baidu.www.oop.demo05;public class B {public static void test(){System.out.println("这…
阅读更多...
最新文章

Copyright @ 2022~2023