【异常总结】SeaTunnel集群脑裂配置优化方法

集群配置

项目描述
数量3台
规格阿里云ECS 16C64G
Slot模式静态50个
ST内存配置-Xms32g -Xmx32g -XX:MaxMetaspaceSize=8g

异常问题

4月份以来，出现了3次集群脑裂现象，均为某节点脑裂/自动关闭。

核心日志如下：

Master节点

出现Hazelcast监控线程打印的Slow Operation日志

file

Hazelcast 心跳超时60s后，会看见198已经离开了集群

file

198 worker节点

我们可以看到，已经无法获得Hazelcast集群节点的心跳，且超时超过60000ms

file

尝试重连到集群

file

然后打到该节点上的状态查询、提交作业等请求，卡死无状态；

file

这时整个集群不可用，处于僵死状态，我们写的节点健康检查接口，均不可用， 早高峰时间出现了服务不可用，于是我们观察日志出现集群脑裂后，快速重启了集群。

file

后期调参后，甚至还出现过调参后节点自动关闭的问题

file

file

问题分析

可能出现Hazelcast集群脑裂组网失败的问题，有以下几个：

  • 集群所在的ECS系统NTP不一致；

  • 集群所在的ECS出现了网络抖动问题，访问不可用；

  • ST出现FULL GC导致JVM卡顿，导致组网失败；

前两个问题，我们通过运维同学，明确网络无问题，阿里云NTP服务正常三个服务器时间无间隔；

第三个问题，我们再198节点出现异常前最后一次hazelcast健康检查日志发现，cluster time的时间点为-100毫秒，看起来影响不大。

file

于是我们在后续启动时，添加了jvm gc日志参数，用以观察full gc的时间，我们观察过最多有观察到27s， 三个节点相互Ping监控，极易出现hazelcast 60s的心跳超时时间。

同时我们也发现，某个14亿CK表同步时，运行一定时间后，就容易FullGc异常问题。

file

问题解决方案

增加ST集群心跳时间

hazelcast集群故障检查器负责确定集群中的成员是否无法访问或崩溃。

但根据著名的FLP结果，在异步系统中不可能区分崩溃的成员和缓慢的成员。解决此限制的方法是使用不可靠的故障检测器。不可靠的故障检测器允许成员怀疑其他人已经失败，通常基于活性标准，但它可能会在一定程度上犯错误。

Hazelcast 具有以下内置故障检测器：Deadline Failure Detector 和 Phi Accrual Failure Detector。

默认情况下，Hazelcast 使用Deadline Failure Detector进行故障检测。

还有一个 Ping 故障检测器，如果启用，它会与上述检测器并行工作，但会识别 OSI 第 3 层（网络层）上的故障。该检测器默认处于禁用状态。

Deadline Failure Detector

对丢失/丢失的心跳使用绝对超时。超时后，成员将被视为崩溃/不可用并标记为可疑

相关参数及说明

hazelcast:

properties:

hazelcast.heartbeat.failuredetector.type: deadline

hazelcast.heartbeat.interval.seconds: 5

hazelcast.max.no.heartbeat.seconds: 120
配置项描述
hazelcast.heartbeat.failuredetector.type集群故障检查器模式：deadline.
hazelcast.heartbeat.interval.seconds成员之间互相发送心跳消息的时间间隔。
hazelcast.max.no.heartbeat.seconds定义集群成员因未发送任何心跳而受到怀疑的超时时间。

Phi-accrual 计故障检测器

跟踪滑动时间窗口中心跳之间的间隔，测量这些样本的平均值和方差，并计算怀疑级别 (Phi) 值。

当自上次心跳以来的时间间隔变长时，phi 的值会增加。如果网络变得缓慢或不可靠，导致均值和方差增加，则怀疑该成员之前需要更长的时间没有收到心跳。

相关参数及说明

hazelcast:

properties:

hazelcast.heartbeat.failuredetector.type: phi-accrual

hazelcast.heartbeat.interval.seconds: 1

hazelcast.max.no.heartbeat.seconds: 60

hazelcast.heartbeat.phiaccrual.failuredetector.threshold: 10

hazelcast.heartbeat.phiaccrual.failuredetector.sample.size: 200

hazelcast.heartbeat.phiaccrual.failuredetector.min.std.dev.millis: 100
配置项描述
hazelcast.heartbeat.failuredetector.type集群故障检查器模式：phi-accrual
hazelcast.heartbeat.interval.seconds成员之间互相发送心跳消息的时间间隔
hazelcast.max.no.heartbeat.seconds定义集群成员因未发送任何心跳而受到怀疑的超时时间。由于故障检测器可适应网络条件，您可以定义低于截止时间故障检测器 hazelcast.max.no.heartbeat.seconds 中定义的超时时间
hazelcast.heartbeat.phiaccrual.failuredetector.threshold成员被视为无法访问并标记为可疑的 phi 阈值。计算出的 phi 超过此阈值后，成员将被视为无法访问并标记为可疑。较低的阈值允许您检测成员中的任何崩溃或故障，但可能会生成更多故障并导致错误的成员被标记为可疑。较高的阈值产生的故障较少，但检测实际崩溃/故障的速度较慢。例如，phi = 1 的情况下故障识别的错误率约为 10%，phi = 2 则约为 1%，phi = 3 约为 0.1%。默认情况下，phi 阈值设置为 10
hazelcast.heartbeat.phiaccrual.failuredetector.sample.size为历史保留的样本数量。默认情况下，此项设置为 200
hazelcast.heartbeat.phiaccrual.failuredetector.min.std.dev.millis正态分布中 phi 计算的最小标准差

配置参考文档：

  • https://docs.hazelcast.com/hazelcast/5.1/system-properties
  • https://docs.hazelcast.com/hazelcast/5.1/clusters/failure-detector-configuration
  • https://docs.hazelcast.com/hazelcast/5.4/clusters/phi-accrual-detector

为了更准确，我们采用社区建议，在hazelcast.yml使用phi-accrual 故障检测器，并配置超时时间为180s:

hazelcast:

properties:

# 以下为追加的新参数

hazelcast.heartbeat.failuredetector.type: phi-accrual

hazelcast.heartbeat.interval.seconds: 1

hazelcast.max.no.heartbeat.seconds: 180

hazelcast.heartbeat.phiaccrual.failuredetector.threshold: 10

hazelcast.heartbeat.phiaccrual.failuredetector.sample.size: 200

hazelcast.heartbeat.phiaccrual.failuredetector.min.std.dev.millis: 100

优化GC配置

SeaTunnel默认使用G1垃圾处理器，内存配置的越大，若YoungGC/MixedGC资源回收的不够多(多线程)，从而频繁触发FullGC处理(JAVA8单线程处理，时间很长)，若集群多节点一起FullGC，则会导致集群越有可能出现组网异常问题；

所以我们的目标就是YoungGC/MixedGC尽可能利用线程回收足够多的内存。

未优化的参数

-Xms32g

-Xmx32g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

于是我们尝试增加GC暂停的时间

-- 该参数设置所需最大暂停时间的目标值。默认值为 200 毫秒。

-XX:MaxGCPauseMillis=5000

Mixed Garbage Collections会根据该参数中该参数和历史回收耗时来计算本次要回收多少Region才能耗时200ms，假如回收了一部分远远没有达到回收的效果，G1还有一个特殊处理方法，STW后进行回收，然后恢复系统线程，然后再次STW，执行混合回收掉一部分Region，‐XX:G1MixedGCCountTarget=8 (默认是8次)，反复执行上述过程8次。

eg：假设要回收400个Region，如果受限200ms，每次只能回收50个Region，反复8次刚好全部回收完毕，避免单次停顿回收STW时间太长。

第一次优化后参数

-Xms32g

-Xmx32g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

-XX:MaxGCPauseMillis=5000

MixedGC 日志如下：

file

MixedGC 日志暂停耗时， 该参数仅是预期值，目前看返回结果的均在预期范围内；

file

full gc日志

file

但是仍然无法避免FullGc，切耗时在20s左右，追加的参数只是少量优化GC性能。

我们通过观察日志，发现在MixedGC场景下，老年代没有被正常GC掉，有大量存留数据在老年代中未被清理。 file 于是我们，我们尝试从增加老年代内存，以及G1垃圾回收器一些性能参数进行调参；

优化的参数如下：

-Xms42g

-Xmx42g

-XX:GCTimeRatio=4

-XX:G1ReservePercent=15

-XX:G1HeapRegionSize=32M

堆内存(-Xms / -Xmx) 由32G->42G，变相增大了老年代区域的上限，理论上可以减少FullGC的次数；

GC占用的CPU和工作线程占用CPU时间比例（-XX:GCTimeRatio） 由10%->20%，计算公式为100/(1+GCTimeRatio)，增加GC时占用时间；

保留空间（-XX:G1ReservePercent）由10%->15%，转移失败（Evacuation Failure）是指当G1无法在堆空间中申请新的分区时，G1便会触发担保机制，执行一次STW式的、单线程的Full GCG。可以保留空间增加，但是调高此值同时也意味着降低了老年代的实际可用空间，于是我们增大了堆内存，提升该参数可以缓解下列场景的出现：

  • 从年轻代分区拷贝存活对象时，无法找到可用的空闲分区。
  • 从老年代分区转移存活对象时，无法找到可用的空闲分区。
  • 分配巨型对象时在老年代无法找到足够的连续分区。

堆内存Region大小（-XX:G1HeapRegionSize）—大小调整至32MB，优化对大对象的回收；

第二次优化后参数

-Xms42g

-Xmx42g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

-XX:MaxGCPauseMillis=5000

-XX:GCTimeRatio=4

-XX:G1ReservePercent=15

-XX:G1HeapRegionSize=32M

优化后我们发现当天整体的FullGC数量有一定下降，但是仍未达到无FullGC的预期

file

file

继续观察日志，发现并行交集阶消耗了大量的时间，并出现很多次abort记录。

file

优化的参数如下：

-XX:ConcGCThreads=12

-XX:InitiatingHeapOccupancyPercent=50

与应用一起执行的GC线程数量(-XX:ConcGCThreads) 由4->12，该值越低则系统的吞吐量越大，但过低会导致GC时间过长。当并发周期时间过长时，可以尝试调大GC工作线程数，但是这也意味着此期间应用所占的线程数减少，会对吞吐量有一定影响，对于离线数据同步场景，避免FullGC这个参数很重要。

老年代并发标记比率（-XX:InitiatingHeapOccupancyPercent）由 45%->50%，提早进行并发标记处理，提升MixedGC性能；

file

第三次优化后参数

-Xms42g

-Xmx42g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

-XX:MaxGCPauseMillis=5000

-XX:InitiatingHeapOccupancyPercent=50

-XX:+UseStringDeduplication

-XX:GCTimeRatio=4

-XX:G1ReservePercent=15

-XX:ConcGCThreads=12

-XX:G1HeapRegionSize=32M

JVM调优参考：

  • https://docs.oracle.com/javase/8/docs/technotes/guides/vm/gctuning/g1_gc_tuning.html#sthref56>
  • https://docs.oracle.com/javase/8/docs/technotes/guides/vm/gctuning/g1_gc.html#pause_time_goal>
  • https://zhuanlan.zhihu.com/p/181305087>
  • https://blog.csdn.net/qq_32069845/article/details/130594667>

优化效果

自4月26日配置优化修改后，未再出现集群脑裂问题，服务可用性监控显示，集群均可恢复正常。

自4月30日Jvm参数调优后，五一假期内，我们实现了3台节点FullGC数量为0的优化目标，系统健康检查接口未再出现任何卡顿异常。

虽然一定程度上牺牲了应用线程处理的吞吐量，但是我们保证了集群的稳定性，使zeta在内部大规模推广得到了保证。

file

file

file

本文由 白鲸开源科技 提供发布支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/752083.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

开源大模型RAG企业本地知识库问答机器人-ChatWiki

开源大模型RAG企业本地知识库问答机器人-ChatWiki

ChatWiki ChatWiki是一款开源的知识库 AI 问答系统。系统基于大语言模型（LLM ）和检索增强生成（RAG）技术构建，提供开箱即用的数据处理、模型调用等能力，可以帮助企业快速搭建自己的知识库 AI 问答系统。 开…
阅读更多...
Xilinx系列FPGA实现4K视频拼接，基于Video Mixer实现，提供1套工程源码和技术支持

Xilinx系列FPGA实现4K视频拼接，基于Video Mixer实现，提供1套工程源码和技术支持

目录 1、前言工程概述免责声明 2、相关方案推荐FPGA图像处理方案FPGA视频拼接叠加融合方案推荐4K视频输入输出方案Video Mixer视频拼接方案 3、详细设计方案设计框图TPG测试彩条VDMA图像缓存Video Mixer介绍HDMI 1.4/2.0 Transmitter SubsystemVideo PHY Controller输出均衡电路…
阅读更多...
RuleApp1.4.6文章社区客户端 广告联盟支持Docx导入

RuleApp1.4.6文章社区客户端 广告联盟支持Docx导入

支持编译为安卓，苹果，小程序，H5网页的社区客户端代码，包括文章模块，用户模块，动态模块，支付模块，聊天模块，广告模块，商城模块等基础功能，包含VIP会…
阅读更多...
黄历工具网/万年历/财神方位/日历/佛历/道历/24节气/PHP网站源码

黄历工具网/万年历/财神方位/日历/佛历/道历/24节气/PHP网站源码

黄历工具网/万年历/财神方位/日历/佛历/道历/24节气/PHP网站源码 演示地址： https://hl.caohongji.com/ 手机端地址： https://mhl.caohongji.com/ 客服： kkmp326 源码说明： 1、系统内的黄历宜忌、农历、日历、佛历、道…
阅读更多...
傅里叶变换，拉普拉斯变换，卷积 卷积定理

傅里叶变换，拉普拉斯变换，卷积 卷积定理

傅里叶变换，拉普拉斯变换，卷积 & 卷积定理 文章目录 傅里叶变换，拉普拉斯变换，卷积 & 卷积定理开胃小菜（收敛性）一、傅里叶变换核心原理定义连续时间信号离散时间信号（了解）…
阅读更多...
leetcode 二分查找·系统掌握 有序数组中的单一元素

leetcode 二分查找·系统掌握 有序数组中的单一元素

题意： 题解： 一种可行的思路是，考虑这个单独的数加入之前和加入之后这个数组中其他元素的属性发生了什么变化，不难看出在这个单独的数之前每一对数的第一个索引为偶数，在这个单独的数之后每一对数的第一个索引为奇数&…
阅读更多...
RISC-V知识总结 —— 向量（扩展）指令集

RISC-V知识总结 —— 向量（扩展）指令集

资源1:晏明 - RISC-V向量扩展指令架构及LLVM自动向量化支持 - 202112118 - 第13届开源开发工具大会（OSDTConf2021）_哔哩哔哩_bilibili资源2:张先轶 - 基于RISC-V向量指令集优化基础计算软件生态【第12届开源开发工具大会（OSDT2020&#xff09…
阅读更多...
Fizz Buzz 经典问题 - 蓝桥杯

Fizz Buzz 经典问题 - 蓝桥杯

基础知识要求： Java：方法、if else语句、算术运算符、逻辑运算符、Scanner类 Python： 方法、if else语句、算术运算符、逻辑运算符、input() 题目： 思路解析： 读取输入： 从标准输入或其他方式读取一个整数…
阅读更多...
高效利用iCloud指南：打造无缝连接的数字生活

高效利用iCloud指南：打造无缝连接的数字生活

iCloud是苹果公司推出的一项云存储和云计算服务，它为用户提供了一个安全、便捷的云端存储空间，帮助用户在各个苹果设备之间无缝同步数据。无论是照片、文档、备忘录，还是应用程序数据，iCloud都能让你的数字生活更加高效和有序。本…
阅读更多...
vue 屏蔽浏览器视频小窗口播放、关闭“窗口弹出”提示框

vue 屏蔽浏览器视频小窗口播放、关闭“窗口弹出”提示框

搜狗浏览器：
阅读更多...
CogMG：用大模型解决知识图谱覆盖不足的问题

CogMG：用大模型解决知识图谱覆盖不足的问题

CogMG：用大模型解决知识图谱覆盖不足的问题 提出背景知识图谱的作用知识覆盖不完整知识更新不对齐 显式分解知识三元组和补全检索增强生成（RAG）和知识更新 框架设计1. 查询知识图谱2. 处理结果3. 知识图谱演化 CogMG 实现3.1 模型和组件问题分…
阅读更多...
智能测流速仪

智能测流速仪

LS300-B随着科技的不断进步，智能设备在各个领域中扮演着越来越重要的角色。在水利、环保、农业等行业中，明渠流速流量的测量一直是一个关键环节。传统的测量方法虽然有其有效性，但在面对复杂多变的测量环境时，往往显得力不从心。而…
阅读更多...
[CAN] 通讯协议手动解析与手动打包 [手撕编码格式]

[CAN] 通讯协议手动解析与手动打包 [手撕编码格式]

手动解析与手动打包 一、Intel格式编码1.1 报文解析。1.2 报文打包二、Motorola格式通讯协议2.1 报文解析。2.2 报文打包🙋 前言 CAN有两种编码格式：Intel编码格式 和 Motorola编码格式，本教程将分别对两种格式进行手动解析与手动打包。 一、Intel格式编码 假设已知雷达CAN…
阅读更多...
如何在MySQL中按字符串中的数字排序

如何在MySQL中按字符串中的数字排序

在管理数据库时，我们经常遇到需要按嵌入在字符串中的数字进行排序的情况。这在实际应用中尤为常见，比如文件名、代码版本号等字段中通常包含数字，而这些数字往往是排序的关键。本文将详细介绍如何在MySQL中利用正则表达式提取字符串中的数字并…
阅读更多...
GPT-5的到来：智能飞跃与未来畅想

GPT-5的到来：智能飞跃与未来畅想

IT之家6月22日消息，在美国达特茅斯工程学院的采访中，OpenAI首席技术官米拉穆拉蒂确认了GPT-5的发布计划，预计将在一年半后推出。穆拉蒂形象地将GPT-4到GPT-5的飞跃比作高中生到博士生的成长。这一飞跃将给我们带来哪些变化？GPT-5的…
阅读更多...
贪吃蛇项目GameStart部分：对游戏的初始化

贪吃蛇项目GameStart部分：对游戏的初始化

接上一篇文章介绍完需要使用到的WIN32API的相关知识，本篇文章让我们来开始使用他们来创建我们的贪吃蛇欢迎界面以及游戏所需要的地图。 准备工作： 为了后面我们构建贪吃蛇游戏所需要的各项函数便于观察，同时便于我们的函数声明，在…
阅读更多...
docker mysql cpu100% cpu打满排查 mysql cpu爆了 mysql cpu 100%问题排查

docker mysql cpu100% cpu打满排查 mysql cpu爆了 mysql cpu 100%问题排查

1. docker 启动了一个mysql 实例，近期忽然发现cpu100% 如下图所示 命令： top 2.进入容器内排查： docker exec mysql（此处可以是docker ps -a 查找出来的image_id） -it /bin/bash cd /var/log cat mysqld.log 容器内m…
阅读更多...
移远通信发布两款Wi-Fi 6模组新品：率先采用亚马逊ACK SDK for Matter方案实现互联互通

移远通信发布两款Wi-Fi 6模组新品：率先采用亚马逊ACK SDK for Matter方案实现互联互通

6月26日 ，在MWC上海展上，全球领先的物联网整体解决方案供应商移远通信联合亚马逊及上海博通现场宣布，推出支持亚马逊Alexa Connect Kit （ACK）SDK for Matter方案的MCU Wi-Fi 6模组FLM163D和FLM263D。 后续，…
阅读更多...
完美解决ValueError: column index (256) not an int in range(256)的正确解决方法，亲测有效！！！

完美解决ValueError: column index (256) not an int in range(256)的正确解决方法，亲测有效！！！

完美解决ValueError: column index (256) not an int in range(256)的正确解决方法，亲测有效！！！ 亲测有效 完美解决ValueError: column index (256) not an int in range(256)的正确解决方法，亲测有效！&…
阅读更多...
JavaWeb——MySQL

JavaWeb——MySQL

目录 2. 数据库设计 3. 表的关系 4. 表关系的实现 5. 多表查询 5.1 内连接 （1）隐式内连接 （2）显式内连接 ​5.2 外连接 （1）左外连接 （2）右外连接 2. 数据库设计 数据库设…
阅读更多...
最新文章

Copyright @ 2022~2023