【ETCD】【实操篇(十九)】ETCD基准测试实战

目录

      • 1. 设定性能基准要求
      • 2. 使用基准测试工具
        • 基准测试命令
      • 3. 测试不同的负载和场景
      • 4. 监控集群性能
      • 5. 评估硬件和网络的影响
      • 6. 对比性能基准
      • 7. 负载均衡和容错能力测试
      • 8. 优化与调优
      • 9. 测试在高负载下的表现
      • 总结

在这里插入图片描述

1. 设定性能基准要求

首先,明确集群性能的目标,例如:

  • 期望的吞吐量(QPS,查询每秒)和延迟(Latency)。
  • 集群能处理的请求数和负载容量。
  • 集群对读写操作的响应时间要求。

2. 使用基准测试工具

etcd 提供了基准测试工具,可以用来测试集群在不同负载下的表现。常用的测试项包括:

  • 写入性能(QPS和延迟)
  • 读取性能(线性化读取与可序列化读取的QPS和延迟)
基准测试命令

使用 etcd 附带的基准测试工具对集群进行测试。根据你设定的目标,测试不同负载下的性能。

例如:

  • 测试写入性能:
    benchmark --endpoints=192.168.188.108:2384 --target-leader --conns=100 --clients=1000    put --key-size=8 --sequential-keys --total=10000 --val-size=256
    
    从主节点写,每秒约7173次。
    在这里插入图片描述
    向所有节点写,每秒13940
    在这里插入图片描述
1. benchmark
这是执行 etcd 性能基准测试的命令。它是 etcd 自带的一个工具,用于测试 etcd 集群的性能,主要评估集群的吞吐量(QPS)和延迟。

2. --endpoints=192.168.188.108:2384
指定了 etcd 集群的端点地址和端口。此参数告诉 benchmark 工具连接到哪个 etcd 实例进行性能测试。

192.168.188.108 是 etcd 节点的 IP 地址。
2384 是 etcd 的客户端访问端口。默认情况下,etcd 使用 2379 端口,但在此命令中使用了 2384。
3. --target-leader
此参数指定性能测试将发送到 etcd 集群中的领导节点。Raft 共识算法要求所有的写操作都必须由领导节点进行,因此该参数指定将所有请求发送给当前的领导节点。

如果不使用该参数,可能会将请求分发到集群中的任何节点,而不只是领导节点。
4. --conns=100
指定了与 etcd 节点的连接数。在性能测试中,模拟多个客户端连接到 etcd 集群进行操作。

这里设置了 100 个并发连接,每个连接都可以进行独立的请求,模拟了高并发的情况。
5. --clients=1000
指定了 benchmark 工具将模拟的客户端数量。每个客户端会向 etcd 集群发送请求。

在这里,设置了 1000 个客户端,意味着将有 1000 个并发的客户端向集群发送请求,这通常用于模拟高负载环境。
6. put
表示基准测试的操作类型是 put,即写入操作。该命令会在 etcd 集群中执行写入操作,向集群写入键值对。

7. --key-size=8
指定了写入请求中每个键的大小(以字节为单位)。在这个例子中,每个键的大小是 8 字节。

8. --sequential-keys
表示键是顺序生成的,而不是随机生成的。使用顺序键可以帮助测试写入操作的性能,因为顺序写入在某些存储系统中比随机写入效率更高。

例如,如果写入顺序是递增的,这可能比随机生成的键更加高效。
9. --total=10000
指定了要执行的总操作数。在此命令中,表示要执行 10,000 次 put 操作(即写入 10,000 个键值对)。

这个参数影响基准测试的持续时间和压力,操作数越多,测试的负载也越大。
10. --val-size=256
指定了每个写入请求中值的大小(以字节为单位)。在此命令中,值的大小是 256 字节。值的大小会直接影响写入操作的网络负载和磁盘 I/O,较大的值会增加操作的负载。
  • 测试读取性能:
    benchmark --endpoints=192.168.188.108:2384,192.168.188.108:2379,192.168.188.108:2383 --conns=100 --clients=1000  range k --consistency=l --total=10000
    
    测试线性读,每秒约57000次,
    在这里插入图片描述
    测试序列化读,每秒约 74074次。
    在这里插入图片描述

测试过程中记录并分析:

  • 写入 QPS:每秒钟处理多少个写入操作。
  • 读取 QPS:每秒钟处理多少个读取操作。
  • 延迟:每个请求的平均响应时间(通常是毫秒级)。
    官网的基准测试

3. 测试不同的负载和场景

不同的负载类型对性能的影响可能不同。你可以模拟以下几种典型负载:

  • 单客户端负载:测试一个客户端对集群的压力。
  • 并发客户端负载:测试多个客户端并发访问集群的情况。
  • 小批量请求和大批量请求:通过提交较小和较大的请求,评估集群的吞吐量和延迟。
  • 读取负载:模拟大量的读取请求,特别是使用线性化和可序列化读取的情况。

4. 监控集群性能

使用监控工具(例如 Prometheus 和 Grafana)实时监控 etcd 集群的性能指标,关键指标包括:

  • QPS:每秒查询数,衡量集群的吞吐量。
  • 延迟:请求的响应时间,通常关注 99 分位延迟(即大部分请求的延迟)。
  • 资源使用率:例如 CPU 使用率、内存使用率、磁盘 IO、网络带宽等。

例如,使用 etcd 的内建监控接口查看实时性能数据:

curl http://<etcd-node>:2379/metrics

5. 评估硬件和网络的影响

性能不仅仅与 etcd 配置相关,还与硬件和网络环境密切相关:

  • 硬件配置:确保 etcd 节点的硬件资源足够,特别是 CPU、内存和磁盘性能(尤其是 SSD 性能)。
  • 网络延迟:集群节点之间的网络延迟对性能影响很大。使用如 ping 等工具测试节点间的 RTT(往返时间),确保网络延迟较低。

6. 对比性能基准

将你的测试结果与 etcd 官方文档中的基准性能进行对比。通常,etcd 在大多数环境下应能满足以下性能标准:

  • 在轻负载情况下,3 节点集群可以在毫秒级别响应请求。
  • 在高负载下,集群仍能保持良好的吞吐量和低延迟(如每秒处理数万请求)。

7. 负载均衡和容错能力测试

  • 容错测试:模拟节点故障,检查 etcd 在节点失败时的恢复能力和性能。
  • 负载均衡:测试集群的负载均衡能力,特别是在多个客户端同时请求时,确保请求能够均匀分布到各个节点。

8. 优化与调优

如果性能不满足要求,可以通过以下方式进行调优:

  • 增添节点:增加更多节点来分担负载,改善吞吐量和容错能力。
  • 调整配置:例如调整 --max-request-bytes--heartbeat-interval--election-timeout 等参数来优化性能。
  • 硬件优化:更换更高性能的硬件(如更快的 SSD、增加内存、提高网络带宽等)。

9. 测试在高负载下的表现

确保集群能够在高负载下稳定运行。例如,模拟大规模的数据写入(如百万级别的键值对)和高并发请求,观察集群在极限条件下的性能表现。


总结

确认新创建的 etcd 集群性能是否满足要求的关键步骤包括:

  1. 设定明确的性能目标。
  2. 使用基准测试工具进行性能测试。
  3. 监控集群的实时性能数据。
  4. 测试不同负载和场景下的性能。
  5. 评估硬件和网络环境的影响。
  6. 根据测试结果进行调整和优化。

通过这些步骤,你可以确保 etcd 集群在实际生产环境中能够满足高可用、高吞吐量和低延迟的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/946310.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Docker Compose 构建 EMQX 集群 实现mqqt 和websocket

EMQX 集群化管理mqqt真香 目录 #目录 /usr/emqx 容器构建 vim docker-compose.yml version: 3services:emqx1:image: emqx:5.8.3container_name: emqx1environment:- "EMQX_NODE_NAMEemqxnode1.emqx.io"- "EMQX_CLUSTER__DISCOVERY_STRATEGYstatic"- …

【Cesium】三、实现开场动画效果

文章目录 实现效果实现方法实现代码组件化 实现效果 实现方法 Cesium官方提供了Camera的flyTo方法实现了飞向目的地的动画效果。 官方API&#xff1a;传送门 这里只需要用到目的地&#xff08;destination&#xff09;和持续时间&#xff08;duration&#xff09;这两个参数…

Qt从入门到入土(七)-实现炫酷的登录注册界面(下)

前言 Qt从入门到入土&#xff08;六&#xff09;-实现炫酷的登录注册界面&#xff08;上&#xff09;主要讲了如何使用QSS样式表进行登录注册的界面设计&#xff0c;本篇文章将介绍如何对登录注册界面进行整体控件的布局&#xff0c;界面的切换以及实现登录、记住密码等功能。…

智能化人才招聘系统是怎样的?

随着企业规模的扩大和业务范围的拓展&#xff0c;人才招聘成为了企业发展的关键环节。然而&#xff0c;市面上的人才招聘系统琳琅满目&#xff0c;质量参差不齐&#xff0c;许多企业发现&#xff0c;并非所有系统都能满足他们的需求&#xff0c;特别是智能化的需求。今天&#…

论文分享 | PromptFuzz:用于模糊测试驱动程序生成的提示模糊测试

大语言模型拥有的强大能力可以用来辅助多种工作&#xff0c;但如何有效的辅助仍然需要人的精巧设计。分享一篇发表于2024年CCS会议的论文PromptFuzz&#xff0c;它利用模型提示生成模糊测试驱动代码&#xff0c;并将代码片段嵌入到LLVM框架中执行模糊测试。 论文摘要 制作高质…

[最佳方法] 如何将视频从 Android 发送到 iPhone

概括 将大视频从 Android 发送到 iPhone 或将批量视频从 iPhone 传输到 Android 并不是一件容易的事情。也许您已经尝试了很多关于如何将视频从 Android 发送到 iPhone 15/14 的方法&#xff0c;但都没有效果。但现在&#xff0c;通过本文中的这 6 种强大方法&#xff0c;您可…

cesium小知识: 处理动画的5种方式

在 Cesium 中处理动画可以通过多种方式实现,具体取决于你想要创建的动画类型。Cesium 提供了丰富的API来支持不同种类的动画,包括但不限于物体的移动、旋转、缩放、属性变化等。以下是几种常见的动画处理方法: 1. 使用 Entity 和 SampledProperty 对于动态数据或随时间变化…

003:如何理解 CNN 中的 RGB 图像和通道?

本文为合集收录&#xff0c;欢迎查看合集/专栏链接进行全部合集的系统学习。 合集完整版请参考这里。 在灰度图一节的最后&#xff0c;给出了一个由彩色图片转成灰度图的示例&#xff0c;并且通过 color_image.mode获取了图片的格式&#xff1a;彩色图片获取到的格式为 RGBA&a…

小程序基础 —— 07 创建小程序项目

创建小程序项目 打开微信开发者工具&#xff0c;左侧选择小程序&#xff0c;点击 号即可新建项目&#xff1a; 在弹出的新页面&#xff0c;填写项目信息&#xff08;后端服务选择不使用云服务&#xff0c;开发模式为小程序&#xff0c;模板选择为不使用模板&#xff09;&…

TP 钱包插件版本的使用

目前 TokenPocket 的几个平台中&#xff0c;以 ios 和 安卓版本最为常见&#xff0c;其实很少有人知道&#xff0c;浏览器上有一个插件版本的 Tp, 用电脑多的话&#xff0c;这也是一个挺好的选择。 最新版本现在支持Chrome、Brave 浏览器、Edge&#xff08;Firefox及Opera正在…

【AIGC】使用Java实现Azure语音服务批量转录功能:完整指南

文章目录 引言技术背景环境准备详细实现1. 基础架构设计2. 实现文件上传功能3. 提交转录任务crul4. 获取转录结果 使用示例结果示例最佳实践与注意事项总结 引言 在当今数字化时代&#xff0c;将音频内容转换为文本的需求越来越普遍。无论是会议记录、视频字幕生成&#xff0c…

【UVM】搭建一个验证平台

UVM环境组件 组件功能 sequence_item&#xff1a;包装数据 UVM中&#xff0c;所有的transaction都要从uvm_sequence_item派生sequence item是每一次driver与DUT互动的最小粒度内容sequence&#xff1a;产生数据 uvm_sequence是一个参数化的类&#xff0c;其参数是transactio…

用Python操作字节流中的Excel文档

Python能够轻松地从字节流中加载文件&#xff0c;在不依赖于外部存储的情况下直接对其进行读取、修改等复杂操作&#xff0c;并最终将更改后的文档保存回字节串中。这种能力不仅极大地提高了数据处理的灵活性&#xff0c;还确保了数据的安全性和完整性&#xff0c;尤其是在网络…

.Net加密与Java互通

.Net加密与Java互通 文章目录 .Net加密与Java互通前言RSA生成私钥和公钥.net加密出数据传给Java端采用java方给出的公钥进行加密采用java方给出的私钥进行解密 .net 解密来自Java端的数据 AES带有向量的AES加密带有向量的AES解密无向量AES加密无向量AES解密 SM2(国密)SM2加密Sm…

elasticsearch-java客户端jar包中各模块的应用梳理

最近使用elasticsearch-java客户端实现对elasticsearch服务的Api请求&#xff0c;现对elasticsearch-java客户端jar包中各模块的应用做个梳理。主要是对co.elastic.clients.elasticsearch路径下的各子包的简单说明。使用的版本为&#xff1a;co.elastic.clients:elasticsearch-…

119.【C语言】数据结构之快速排序(调用库函数)

目录 1.C语言快速排序的库函数 1.使用qsort函数前先包含头文件 2.qsort的四个参数 3.qsort函数使用 对int类型的数据排序 运行结果 对char类型的数据排序 运行结果 对浮点型数据排序 运行结果 2.题外话:函数名的本质 1.C语言快速排序的库函数 cplusplus网的介绍 ht…

JVM实战—G1垃圾回收器的原理和调优

1.G1垃圾回收器的工作原理 (1)ParNew CMS的组合有哪些痛点 Stop the World是最大的问题。无论是新生代GC还是老年代GC&#xff0c;都会或多或少产生STW现象&#xff0c;这对系统的运行是有一定影响的。 所以JVM对垃圾回收器的优化&#xff0c;都是朝减少STW的目标去做的。在这…

HuatuoGPT-o1:基于40K可验证医学问题的两阶段复杂推理增强框架,通过验证器引导和强化学习提升医学模型的推理能力

HuatuoGPT-o1&#xff1a;基于40K可验证医学问题的两阶段复杂推理增强框架&#xff0c;通过验证器引导和强化学习提升医学模型的推理能力 论文大纲理解1. 确认目标2. 分析过程3. 实现步骤4. 效果展示 解法拆解全流程提问俩阶段详细分析 论文&#xff1a;HuatuoGPT-o1, Towards …

HTML——45.单元格合并

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>表格</title></head><body><!--合并单元格&#xff1a;1.在代码中找到要合并的单元格2.在要合并的所有单元格中&#xff0c;保留要合并的第一个单元格…

electron在arm64架构交叉编译遇到libnotify/notify.h文件找不到错误记录

问题描述 在按照官方文档进行arm64下electron编译时出现下面的错误&#xff0c;编译环境为ubuntun22.04.5。 问题分析 由于当前目标架构是arm64&#xff0c;所以从上图可知sysroot为build/linux/debian_bullseye_arm64-sysroot&#xff0c;进入到该目录下查看libnotify的头文…