搭建RocketMQ主从异步集群

搭建RocketMQ主从异步集群

1、RocketMQ集群模式

  为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。RocketMQ官方提供了三种集群搭建方式：

  • 2主2从异步通信方式：使用异步方式进行主从之间的数据复制。吞吐量大，但可能会丢消息。使用conf/2m-2s-async文件夹内的配置文件做集群配置。
  • 2主2从同步通信方式：使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量。使用conf/2m-2s-sync文件夹内的配置文件做集群配置。
  • 2从无从方式：会存在单点故障，且读的性能没有前两种方式号。使用conf/2m-noslave文件夹内的配置文件做集群配置。
  • Dledger高可用集群：上述三种官方提供的集群没办法实现高可用，即在master节点挂掉后，slave节点没办法自动被选举为新的master，而需要人工实现。RocketMQ在4.5版本之后引入了第三方的Dledger高可用集群。

2、搭建主从异步集群

2.1 准备三台Linux服务器

三台Linux服务器中NameServer和Broker之间的关系如下：

服务器服务器IPNameServerBroker节点部署
服务器1192.168.159.33192.168.159.33:9876
服务器2192.168.159.34192.168.159.34:9876broker-a(master)，broker-b-s(slave)
服务器3192.168.159.35192.168.159.35:9876broker-b(master)，broker-a-s(slave)

三台服务器都需要安装JDK和RocketMQ，不再赘述。

2.2 启动三台NameServer

  NameServer是一个轻量级的注册中心，Broker把自己的信息注册到NameServer上。而且NameServer是无状态的，直接启动即可。三台NameServer之间不需要通信，而是被请求来关联三台NameServer的地址。

  修改三台服务器的runserver.sh文件，将JVM内存默认的4G改为512M。

image-20240503171610618

  在每台服务器的bin目录下执行如下命令：

  • 服务器1：nohup ./mqnamesrv -n 192.168.159.33:9876 &
  • 服务器2：nohup ./mqnamesrv -n 192.168.159.34:9876 &
  • 服务器3：nohup ./mqnamesrv -n 192.168.159.35:9876 &

2.3 配置Broker

  broker-a，broker-b-s这两台broker是配置在服务器2上，broker-b,broker-a-s这两台broker是配置在服务器3上。这两对主从节点在不同的服务器上，服务器1上没有部署broker。

  需要修改每台broker的配置文件。注意，同一台服务器上的两个broker保存路径不能一样。

  • broker-a的master节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-a.properties文件。

image-20240503172248247

配置如下：

# 所属集群名称
brokerClusterName=DefaultCluster
# broker名字
brokerName=broker-a
# broker所在服务器的ip
brokerIP1=192.168.159.34
# broker的id， 0表示master， >0表示slave
brokerId=0
# 删除文件时间点，默认在凌晨4点
deleteWhen=04
# 文件保留时间为48小时
fileReservedTime=48
# broker的角色为master
brokerRole=ASYNC_MASTER
# 使用异步刷盘的方式
flushDiskType=ASYNC_FLUSH
# 名称服务器的地址列表
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
# 在发送消息自动创建不存在的topic时，默认创建的队列数为4个
defaultTopicQueueNums=4
# 是否允许 Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=10911
# abort文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 消息存储路径
storePathRootDir=/usr/local/rocketmq/store
# commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
# 消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
# checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# 限制的消息大小
maxMessageSize=65536
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  • broker-a的slave节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-a-s.properties文件，配置如下：

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerIP1=192.168.159.35
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536
  • broker-b的master节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-b.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerIP1=192.168.159.35
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10911
abortFile=/usr/local/rocketmq/store/abort
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
maxMessageSize=65536
  • broker-b的slave节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-b-s.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
IP1=192.168.159.34
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536

  修改服务器2和服务器3的runbroker.sh文件，将JVM默认内存大小从8G修改为512M。

image-20240503174155363

2.4 启动Broker

  在服务器2中启动broker-a(master)和broker-b-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &

image-20240503174439431

  在服务器3中启动broker-b(master)和broker-a-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &

image-20240503174842925

3、验证集群

  使用RocketMQ提供的tools工具验证集群是否正常工作。

  • 在服务器上配置环境变量

    用于被tools中的生产者和消费者程序读取该变量。

    export NAMESRV_ADDR='192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876'

  • 启动生产者

    ./tools.sh org.apache.rocketmq.example.quickstart.Producer

    执行之后会看到消息发送。

    image-20240503175212295

  • 启动消费者

    ./tools.sh org.apache.rocketmq.example.quickstart.Consumer

    指定上述命令之后，可以看到消息被消费。

    image-20240503175311382

4、mqadmin管理工具

  RocketMQ提供了命令工具用于管理topic、broker、集群、消息等。

  比如查看下集群的状态：

./mqadmin clusterlist

image-20240503175511451

  比如使用mqadmin创建topic：

./mqadmin updateTopic -n 192.168.159.34:9876 -c DefaultCluster -t myTopic1

image-20240503175617170

  可以看到，topic建立到了DefaultCluster集群下的broker-a(master)和broker-b(master)上边。

  mqadmin的命令比较多，不太好记，下面我们介绍下RocketMQ的可视化管理平台。

5、安装可视化管理控制平台

5.1 RocketMQ-DashBoard安装

  Apache RocketMQ官网提供了两种安装方式，一种是Docker，一种是源码安装。本文采用源码安装方式。

  源码地址：https://github.com/apache/rocketmq-dashboard

  下载并解压，切换至源码目录rocketmq-dashboard-master

image-20240503210111770

  这里在打包之前需要修改下配置文件application.yml

image-20240503210211231

  将NameServer修改为自己集群的地址即可：

image-20240503210251241

  执行打包命令：

mvn clean package -Dmaven.test.skip=true

image-20240503210334166

  将target目录下的jar包上传到虚拟机中，运行jar包：

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar

image-20240503210444739

访问192.168.159.33:8080

image-20240503210542114

image-20240503210615060

image-20240503210641638

5.2 踩坑的解决方案

  当时maven打包好久都无法成功，后来搜了下注释掉frontend-maven-plugin和maven-antrun-plugin这两个plugin后就成功了。

  还有一个问题是，当时直接在github拉取的rocketmq-dashboard的master分支，打包之后的版本为1.0.1，对应的是rocketmq的5.x版本，如果使用该版本监控rocketmq4.x，会有问题，查看不了topic的状态。

  直接在github上下载1.0.0那个release重新打包即可。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/695955.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

通过 AI Edge Torch 生成式 API 在设备上使用自定义大语言模型

通过 AI Edge Torch 生成式 API 在设备上使用自定义大语言模型

作者 / 首席工程师 Cormac Brick，软件工程师 Haoliang Zhang 我们很高兴地发布 AI Edge Torch 生成式 API，它能将开发者用 PyTorch 编写的高性能大语言模型 (LLM) 部署至 TensorFlow Lite (TFLite) 运行时，从而无缝地将新的设备端生成式 AI 模…
阅读更多...
[大模型]Gemma-2B-Instruct FastApi 部署调用

[大模型]Gemma-2B-Instruct FastApi 部署调用

环境准备 在 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1。 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。 pip 换源加速下载…
阅读更多...
[qt] qt程序打包以及docker镜像打包

[qt] qt程序打包以及docker镜像打包

目录 一 环境准备: 1.1 qt环境 1.2 linuxdeplouqt打包工具 二 qt包发布: 2.1 搜索链接库 2.2 应用程序APP打包 2.3 发布 三 docker镜像包发布 3.1 环境准备 3.2 镜像生产脚本 3.3 加载镜像并运行docker容器 一 环境准备: qt环境linuxdeployqt打包工具docker环境 1…
阅读更多...
Python学习打卡：day01

Python学习打卡：day01

day1 笔记来源于：黑马程序员python教程，8天python从入门到精通，学python看这套就够了 1、Python 软件（PyCharm） 安装：在 Linux 环境下安装 Pycharm 插件：汉化、翻译 设置字体大小 常用快捷…
阅读更多...
【MySQL】（基础篇五） —— 排序检索数据

【MySQL】（基础篇五） —— 排序检索数据

排序检索数据 本章将讲授如何使用SELECT语句的ORDER BY子句，根据需要排序检索出的数据。 排序数据 还是使用上一节中的例子,查询employees表中的last_name字段 SELECT last_name FROM employees;输出结果： 发现其输出并没有特定的顺序。其实&#xf…
阅读更多...
【Linux】进程3——PID/PPID，父进程，子进程

【Linux】进程3——PID/PPID，父进程，子进程

在讲父子进程之前，我们接着上面那篇继续讲 1.查看进程 mycode.c makefile 我们在zs_108直接编译mycode.c，直接运行，然后我们转换另一个账号来查看这个进程 我们可以通过ps指令来查看进程 我们就会好奇了，第二行是什么&#xff…
阅读更多...
牛客热题：矩阵的最小路径和

牛客热题：矩阵的最小路径和

📟作者主页：慢热的陕西人 🌴专栏链接：力扣刷题日记 📣欢迎各位大佬👍点赞🔥关注🚓收藏，🍉留言 文章目录 牛客热题：矩阵的最小路径和题目链接方法一…
阅读更多...
[数据集][目标检测]变电站火灾检测电力场景烟雾明火检测数据集VOC+YOLO格式140张2类别真实场景非PS合成

[数据集][目标检测]变电站火灾检测电力场景烟雾明火检测数据集VOC+YOLO格式140张2类别真实场景非PS合成

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：140 标注数量(xml文件个数)：140 标注数量(txt文件个数)：140 标注类别…
阅读更多...
模型 SCAMPER创新法则

模型 SCAMPER创新法则

说明：系列文章 分享 模型，了解更多👉 模型_思维模型目录。激发创新的七步思维法。 1 SCAMPER创新法则的应用 1.1 SCAMPER应用之改进自行车设计 一家自行车制造商希望改进其自行车设计，以吸引更多的消费者并提高市场份额。他们决…
阅读更多...
Python chardet库：字符编码检测

Python chardet库：字符编码检测

更多Python学习内容：ipengtao.com 在处理文本文件时，字符编码问题常常会导致乱码和错误。Python的chardet库是一个功能强大的字符编码检测工具，能够帮助开发者自动检测文本的编码方式，从而正确地读取和处理文本文件。本文将详细介…
阅读更多...
⌈ 传知代码 ⌋ 【CLIP】文本也能和图像配对

⌈ 传知代码 ⌋ 【CLIP】文本也能和图像配对

💛前情提要💛 本文是传知代码平台中的相关前沿知识与技术的分享~ 接下来我们即将进入一个全新的空间，对技术有一个全新的视角~ 本文所涉及所有资源均在传知代码平台可获取 以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦&#x…
阅读更多...
LLM Algorithms(1): Flash Attention

LLM Algorithms(1): Flash Attention

目录 Background Flash Attention Flash Attention Algorithm 参考 NIPS-2022: Flash Attention: Fast and Memory-Efficient Exact Attention with IO-Awareness idea：减少资源消耗，提升或保持模型性能。普通attention的空间复杂度是 --》降低到F…
阅读更多...
【PR2019】怎样批量添加转场效果及修改默认持续时间

【PR2019】怎样批量添加转场效果及修改默认持续时间

一，设置“交叉溶解”效果到所有素材 选择效果，右击“将所选过渡设置为默认过渡”： 框选所有素材，“Ctrl D”： 每个素材中间有有了交叉溶解的效果： 二，修改效果属性 2.1，单个修…
阅读更多...
1.nginx介绍

1.nginx介绍

介绍 是一个高性能的http和反向代理服务器。 特点 占用内存少，并发能力强。 nginx专为性能优化而开发，性能是其最重要的考量，实现上非常注重效率，能经受高负载的考验，有报告表明能支持高达50,000个并发连接数。 基…
阅读更多...
拐点已至：企业如何借助AI重塑增长？

拐点已至：企业如何借助AI重塑增长？

2024年的激进增长与AI数智化创新并行，传统策略的功效已经减弱。在这篇文章中，我们将展望并深度探索2024年的6大创新增长策略，包括AI驱动的实验，产品再造，超个性化，自动化运营，短视频和KOL营销等…
阅读更多...
力扣hot100： 48. 旋转图像

力扣hot100： 48. 旋转图像

LeetCode：48. 旋转图像 受到力扣hot100：54. 螺旋矩阵的启发，我们可以对旋转图像按层旋转，我们只需要记录四个顶点，并且本题是一个方阵，四个顶点就能完成图像的旋转操作。 1、逐层旋转 注意到&#xff0…
阅读更多...
Java核心: JarIndex的使用

Java核心: JarIndex的使用

在讲解Java类加载器的时候，我们发现URLClassLoader加载类或资源时通过访问ClassPath下的每一个路径，来确定类是否存在的，假设我们执行的命令是这样的 java -classpath D:\DiveInSpring\target\classes;C:\lib\spring-expression.jar;C:\lib\…
阅读更多...
扩展学习|风险管理的文献综述汇总（持续更新向）

扩展学习|风险管理的文献综述汇总（持续更新向）

一、风险管理发展历程和趋势综述（2007年发表） 文献来源：[1]严复海,党星,颜文虎.风险管理发展历程和趋势综述[J].管理现代化, 2007(2):4.DOI:CNKI:SUN:GLXX.0.2007-02-009. 简介：该文以风险管理发展历程中的大事件为线索, 对风险管…
阅读更多...
第1回 最开始的两行代码

第1回 最开始的两行代码

当你按下开机键的那一刻，在主板上提前写死的固件程序BIOS会将硬盘启动区中的512（B）的数据，原封不动地复制到内存中的0x7c00这个位置，并跳转到那个位置： 下面我们针对每一步做详细介绍. 开机后初始化指向BIOS CPU中有一个PC寄存器，里面存储这将要执行的指令在内存中的地…
阅读更多...
挑战绝对不可能：再证有长度不同的射线

挑战绝对不可能：再证有长度不同的射线

黄小宁 一空间坐标系中有公共汽车A，A中各座位到司机处的距离h是随着座位的不同而不同的变数，例如5号座位到司机处的距离是h3，…h5，…。A移动了一段距离变为汽车B≌A，B中5号座位到司机处的距离h’h3，…h’h5…
阅读更多...
最新文章

Copyright @ 2022~2023