RabbitMQ 架构分析

文章目录

  • 前言
  • 一、RabbitMQ架构分析
    • 1、Broker
    • 2、Vhost
    • 3、Producer
    • 4、Messages
    • 5、Connections
    • 6、Channel
    • 7、Exchange
    • 7、Queue
    • 8、Consumer
  • 二、消息路由机制
    • 1、Direct Exchange
    • 2、Topic Exchange
    • 3、Fanout Exchange
    • 4、Headers Exchange
    • 5、notice
      • 5.1、备用交换机(Alternate Exchange)
      • 5.2、Mandatory标志
      • 5.3、Dead Letter Exchange(死信交换机)


前言

RabbitMQ是一款功能强大、利用广泛的消息中间件,通常用于分布式系统和微服务架构中的异步通信。理解其架构有助于正确配置和优化系统,实现高效可靠的消息传递


一、RabbitMQ架构分析

架构图
在这里插入图片描述

1、Broker

我们要使用 RabbitMQ 来收发消息,必须要安装一个 RabbitMQ 的服务,可以安装在 Windows 上面也可以安装在 Linux 上面,默认是 5672 的端口。
这台 RabbitMQ 的服务器我们把它叫做 Broker。

2、Vhost

我们每个需要实现基于 RabbitMQ 的异步通信的系统,都需要在 Broker 上创建自己要用到的交换机、队列和它们的绑定关系。

如果某个业务系统不想跟别人混用一个 Broker,有办法不需要安装多个 RabbitMQ 的服务吗?那就是建立一个新的虚拟主机 VHOST。 VHOST 除了可以提高硬件资源的利用率之外,还可以实现资源的隔离和权限的控制。

它的作用类似于其他编程语言中的 namespace 和 package,不同的 VHOST 中可以有同名的 Exchange 和 Queue,它们是完全独立的。

我们可以为不同的业务系统创建专属于他们自己的 VHOST,然后再为他们创建专属的用户,给用户分配对应的 VHOST 的权限。

我们安装 RabbitMQ 的时候会自带一个默认的 VHOST,名字是“/”。

3、Producer

消息生产者(Producer)是发送消息的应用程序。在RabbitMQ中,生产者将消息发送到交换机(Exchange)而不是直接发给队列。
生产者可以是任何能够与RabbitMQ服务器进行通信并使用AMQP协议发送消息的应用。

4、Messages

消息是由生产者发送给RabbitMQ的内容单元,每条消息由负载(payload)和一些元数据(metadata)组成。负载是消息的实际内容,而元数据包含消息的属性或标识。

5、Connections

生产者和消费者与RabbitMQ服务器之间的TCP长连接,每个连接用于消息的传递和通信。

6、Channel

如果所有的生产者发送消息和消费者接收消息,都直接创建和释放 TCP 长连接的话,对于 Broker 来说肯定会造成很大的性能损耗,也会浪费时间。

在 AMQP 里面引入了 Channel (消息信道)的概念,它是一个虚拟的连接。这样我们就可以在保持的 TCP 长连接里面去创建和释放Channel,大大了减少了资源消耗。

不同的 Channel 是相互隔离的,每个 Channel 都有自己的编号。每个客户端线程独占一个channel。
Channel 是 RabbitMQ 原生 API 里面的最重要的编程接口,也就是说我们定义交换机、队列、绑定关系,发送消息,消费消息,调用的都是Channel 接口上的方法。

7、Exchange

现在我们来思考一个问题,如果要把一条消息发送给多个队列,给多个消费者消费,如果交给生产者来做,当有成千上万个队列的时候,那要发送大量消息,耗费太多资源。

如何更优雅的处理呢?RabbitMQ考虑到了这一点,它设计了一个帮我们路由消息的组件,叫做 Exchange。

不管有多少个队列需要接收消息,我都只需要发送到 Exchange 就OK了,由它帮我来分发。Exchange 是不会存储消息的,它只做一件事情,根据规则分发消息。 分发就需要有规则,并且与队列绑定,然后进行个性话分发。

Exchange 和队列是多对多的绑定关系,也就说,一个交换机的消息一个路由给多个队列,一个队列也可以接收来自多个交换机的消息。

绑定关系建立好之后,生产者发送消息到 Exchange,也会携带一个特殊的标识。 当这个标识跟绑定的标识匹配的时候,消息就会发给一个或者多个符合规则的队列。

创建Exchange可以配置相关的属性

属性含义
name交换机的名称
type交换机的类型决定了它如何路由消息。主要有以下几种类型。Direct:路由规则是完全匹配路由键。
Fanout:把接收到的消息广播到所有绑定的队列上,不需要匹配键。
Topic:根据路由键的通配符模式进行路由。
Headers:根据消息头属性进行匹配,而不是路由键。
durable是否持久化(重启 rabbitmq 之后, 交换机是否还存在),默认false
autoDelete当所有绑定到这个交换机的队列都不再使用时,交换机会自动删除。默认为false
internal交换机将是内部的,不能被生产者直接发送消息,只能用于交换机到交换机的绑定(即路由)。默认为false
arguments一个字典,可以包含与RabbitMQ插件或未来版本兼容的其他设置。具体参数可能会依赖于具体的交换机类型和业务需求,比如
alternate-exchange:配置一个备用交换机(当消息无法路由时,消息将发送到这个备用交换机)

7、Queue

在 Broker 上有一个对象用来存储消息,在 RabbitMQ 里面这个对象叫做 Queue。
队列也是生产者和消费者的纽带,生产者发送的消息到达队列,在队列中存储,消费者从队列获取消息进行消费。

队列的相关属性

属性含义
name
durable(默认为false)设置队列是否为持久化队列。如果设置为true,即使RabbitMQ服务器重启,队列仍然存在。
exclusive(默认为false)设置队列是否为排他队列。如果设置为true,队列仅限于首次声明它的连接(Connection)使用,并且连接关闭时队列会自动删除。这个参数优先级高于autoDelete
autoDelete(默认为false)设置队列是否在所有消费者断开连接后自动删除。如果设置为true,当不再有任何消费者订阅该队列时,它会被删除。
argumentsx-message-ttl: 每个消息的生存时间(以毫秒为单位)。如果消息在队列中停留超过这个时间则会被删除。
x-expires: 在队列空闲(没有消费者订阅)超过指定时间(以毫秒为单位)后,队列会被删除。
x-max-length: 队列允许的最大消息数。超过限制时,新消息将从队列的头部移除(可选丢弃策略)。
x-max-length-bytes: 队列允许的最大字节数。超过限制时,新消息将从队列的头部移除(可选丢弃策略)。
x-dead-letter-exchange: 设置消息从该队列被移除(由于TTL、长度限制等)后发送到的备用交换机(Dead Letter Exchange)。
x-dead-letter-routing-key: 设置消息重新投递到备用交换机时使用的路由键。
x-max-priority: 队列的最大优先级,如果设置,队列将成为一个优先级队列。
x-queue-mode: 可以设置为 lazy,表明队列应尽可能保存消息到磁盘而不是内存中,以减少RAM的占用。
x-queue-master-locator: 用于集群模式下,控制队列主节点的分布策略。

8、Consumer

消费者消费消息有两种模式。

  • Pull 模式,对应的方法是 basicGet。消息存放在服务端,只有消费者主动获取才能拿到消息。如果每隔一段时间获取一次消息,消息的实时性会降低。但是好处是可以根据自己的消费能力决定获取消息的频率
  • Push 模式,对应的方法是 basicConsume,只要生产者发消息到服务器,就马上推送给消费者,消息保存在客户端,实时性很高,如果消费不过来有可能会造成消息积压。

Spring AMQP 是 push 方式,通过事件机制对队列进行监听,只要有消息到达队列,就会触发消费消息的方法。

RabbitMQ 中 pull 和 push 都有实现。而 kafka 和 RocketMQ 只有 pull。

由于队列有 FIFO 的特性,只有确定前一条消息被消费者接收之后,Broker 才会把这条消息从数据库删除,继续投递下一条消息。
一个消费者是可以监听多个队列的,一个队列也可以被多个消费者监听。 但是在生产环境中,我们一般是建议一个消费者只处理一个队列的消息。
如果需要提升处理消息的能力,可以增加多个消费者。这个时候消息会在多个消费者之间轮询。

二、消息路由机制

RabbitMQ 中一共有四种类型的交换机,Direct、Topic、Fanout、Headers(不常用)。

1、Direct Exchange

特点:

  • 直接交换机根据消息的路由键(Routing Key)与绑定键(Binding Key)进行精确匹配,将消息路由到绑定的队列。

工作原理:

  • 当生产者发送消息时,需要指定路由键。
  • 交换机会查找与该路由键完全匹配的绑定队列,并将消息路由到这些队列。

在这里插入图片描述

例如发送如下消息

# 只有 binding key = rabbit 能收到消息
channel.basicPublish(“MY_DIRECT_EXCHANGE”,”rabbit”,”msg 1”);

# 匹配不上,消息丢失
channel.basicPublish(“MY_DIRECT_EXCHANGE”,”rabbit0000”,”msg 1”);

应用场景:

  • 适用于需要精确匹配路由键的场景,比如日志系统中不同级别的日志(“info”, “error”)可以精确路由到不同的队列进行处理。

2、Topic Exchange

特点:

  • 主题交换机通过模式匹配路由键和绑定键来路由消息,支持部分匹配和通配符。

工作原理:

  • 生产者发送消息时指定带有模式的路由键,路由键可以包含点号(.)分隔的多个单词,例如 a.bc.def 是 3 个单词。
  • 绑定键可以包含通配符:"*“匹配一个单词,”#"匹配零个或多个单词,可以当前缀也可以当后缀。

在这里插入图片描述

分析:

  • rabbit.#:支持路由键以 rabbit 开头的消息路由,后面可以有单词,也可以没有
  • #.rocket:支持路由键以 rocket 结尾,前面可以有也可以没有单词的消息路由
  • kafka.*:支持路由键以 kafka 开头,并且后面是一个单词的消息路由

例如发送如下消息

# 只有 binding key = rabbit.# 能收到消息
channel.basicPublish("MY_TOPIC_EXCHANGE","rabbit.abc.jvm","msg 2");

# 只有 binding key = kafka.* 能收到消息
channel.basicPublish("MY_TOPIC_EXCHANGE","kafka.jvm","msg 2");

# 只有 binding key = #.rocket 能收到消息
channel.basicPublish("MY_TOPIC_EXCHANGE","kafka.abc.rocket","msg 2");

# binding key = rabbit.# , binding key = #.rocket 能收到消息
channel.basicPublish("MY_TOPIC_EXCHANGE","rabbit.dad.rocket","msg 2");

# binding key = #.rocket , binding key = kafka.*  能收到消息
channel.basicPublish("MY_TOPIC_EXCHANGE","kafka.rocket","msg 2");

应用场景:

  • 适用于多层次、复杂的路由场景,例如新闻系统可以根据新闻类别和地区进行路由。

3、Fanout Exchange

特点:

  • 广播交换机会将接收到的每条消息路由到所有绑定的队列,而不考虑路由键。

工作原理:

  • 生产者发送消息时无需指定路由键。
  • 消息会被广播到所有与交换机绑定的队列中。

在这里插入图片描述

例如发送如下消息

# 三个队列都会收到 msg 4
channel.basicPublish("MY_FANOUT_EXCHANGE", "", "msg 4");

应用场景:

  • 适用于广播场景,将一条消息分发给多个消费者,常用于发布-订阅模式。比如广告、日志等

4、Headers Exchange

特点:

  • 头交换机不是通过路由键,而是通过消息头(Headers)中的属性进行匹配路由。

工作原理:

  • 绑定包含一组键值对,消息头也包含键值对。
  • 交换机将消息头与绑定键值对进行匹配来路由消息,可选择完全匹配或者部分匹配。

应用场景:

  • 适用于消息头包含丰富信息,且需要基于多属性进行路由的场景。例如,需要根据多种复杂条件路由的应用。

5、notice

Topic Exchange 和 Direct Exchange 匹配不上都可能导致消息丢失。
可以按照如下方式处理

5.1、备用交换机(Alternate Exchange)

备用交换机是RabbitMQ提供的一种机制,用来处理没有匹配队列的消息。你可以为一个交换机配置一个备用交换机,当消息未能被路由到任何队列时,这些消息会被发送到备用交换机进行处理。

配置备用交换机步骤:

  • 创建一个备用交换机。
  • 在主要交换机上设置该备用交换机。

示例:

  • 假设我们有一个主交换机名为primary_exchange和一个备用交换机名为alternate_exchange,你可以用以下方式设置:
// 当消息在primary_exchange中没有匹配的队列时,消息将被路由到alternate_exchange。 
Map<String, Object> args = new HashMap<String, Object>();
args.put("alternate-exchange", "alternate_exchange");
channel.exchangeDeclare("primary_exchange", "direct", true, false, args);

5.2、Mandatory标志

Mandatory标志是RabbitMQ的消息属性之一。在生产者发送消息时,如果设置了mandatory标志为true,而消息未能找到匹配的队列,那么消息不会被丢弃,Broker会将消息返回给生产者。

如何使用:

  • 在生产者发送消息时,可以配置mandatory标志。
String message = "Hello World!";
channel.basicPublish(exchangeName, routingKey, true, null, message.getBytes());

Callback机制可以用来处理返回的未路由消息。需要设置ReturnCallback:

channel.addReturnListener(new ReturnCallback() {
    public void handle (Return r){
// 处理未路由的消息
        System.out.println("Returned message: " + new String(r.getBody()));
    }
});

5.3、Dead Letter Exchange(死信交换机)

未被正确路由的消息有时会被重定向到称为死信交换机(DLX)的特殊交换机。当一个队列的消息变为死信时,这些消息可以被路由到一个死信交换机上。

一些情况会导致消息变为死信:

  • 消息被拒绝(basic.reject 或 basic.nack)并且 requeue 属性设置为 false。
  • 消息在队列中存活时间超过TTL(Time to Live)。
  • 队列的消息数超过了最大长度(队列溢出)。

你可以配置队列使用死信交换机:

Map<String, Object> args = new HashMap<String, Object>();
args.put("x-dead-letter-exchange", "dlx_exchange");
channel.queueDeclare("queue_name", true, false, false, args);

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/960028.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

基于java线程池和EasyExcel实现数据异步导入

基于java线程池和EasyExcel实现数据异步导入 2.代码实现 2.1 controller层 PostMapping("import")public void importExcel(MultipartFile file) throws IOException {importService.importExcelAsync(file);}2.2 service层 Resource private SalariesListener sa…

微信阅读网站小程序的设计与实现(LW+源码+讲解)

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…

【吉林乡镇界】面图层shp格式arcgis数据乡镇名称和编码wgs84无偏移内容测评

标题中的“吉林省乡镇界面图层shp格式arcgis数据乡镇名称和编码wgs84无偏移”揭示了这是一个地理信息系统&#xff08;GIS&#xff09;相关的数据集&#xff0c;主要用于描绘吉林省的乡镇边界。这个数据集包含了一系列的文件&#xff0c;它们是ArcGIS软件能够识别和处理的Shape…

71.在 Vue 3 中使用 OpenLayers 实现按住 Shift 拖拽、旋转和缩放效果

前言 在前端开发中&#xff0c;地图功能是一个常见的需求。OpenLayers 是一个强大的开源地图库&#xff0c;支持多种地图源和交互操作。本文将介绍如何在 Vue 3 中集成 OpenLayers&#xff0c;并实现按住 Shift 键拖拽、旋转和缩放地图的效果。 实现效果 按住 Shift 键&#…

Python NumPy(3):创建数组(2)

1 NumPy 从已有的数组创建数组 1.1 numpy.asarray numpy.asarray 类似 numpy.array&#xff0c;但 numpy.asarray 参数只有三个&#xff0c;比 numpy.array 少两个。 numpy.asarray(a, dtype None, order None) 参数描述a任意形式的输入参数&#xff0c;可以是&#xff0c…

qml Dialog详解

1、概述 Dialog是QML&#xff08;Qt Modeling Language&#xff09;中用于显示对话框的组件&#xff0c;它提供了一个模态窗口&#xff0c;通常用于与用户进行重要交互&#xff0c;如确认操作、输入信息或显示警告等。Dialog组件具有灵活的布局和样式选项&#xff0c;可以轻松…

二维数组一

目录 输出数组的第k行数输出数组的第k列数输出数组的每一行的和输出数组的每列的平均值最高成绩各个科目成绩的平均分求最大梯形的面积入门靶心数奇偶统计 输出数组的第k行数 题目描述 输入一个二维数组&#xff0c;显示他的第k行的值。 输入 第一行 n&#xff0c;m两个整数&…

单片机内存管理剖析

一、概述 在单片机系统中&#xff0c;内存资源通常是有限的&#xff0c;因此高效的内存管理至关重要。合理地分配和使用内存可以提高系统的性能和稳定性&#xff0c;避免内存泄漏和碎片化问题。单片机的内存主要包括程序存储器&#xff08;如 Flash&#xff09;和数据存储器&a…

计算机网络 (61)移动IP

前言 移动IP&#xff08;Mobile IP&#xff09;是由Internet工程任务小组&#xff08;Internet Engineering Task Force&#xff0c;IETF&#xff09;提出的一个协议&#xff0c;旨在解决移动设备在不同网络间切换时的通信问题&#xff0c;确保移动设备可以在离开原有网络或子网…

线性回归、协同过滤、基于内容过滤、主成分分析(PCA)

线性回归 使用item特征用户打分标签线性回归训练&#xff0c;最小化成本函数&#xff0c;得到每个用户的参数 协同过滤 协同过滤基于一个核心假设&#xff1a;相似的用户会有相似的兴趣&#xff0c;因此可以通过分析相似用户历史行为&#xff0c;来预测当前用户可能感兴趣的i…

引领产品创新: 2025 年 PM 效能倍增法则

本文讲述 PM 如何利用 AI 做到效率倍增&#xff0c;非常有借鉴意义&#xff0c;故而翻译于此。 原文链接&#xff1a;https://www.news.aakashg.com/p/the-ai-pms-playbook 在产品圈有一个广为流传的说法&#xff1a; “每个产品经理都应该成为 AI 产品经理。” 这个观点有一…

vscode无法格式化go代码的问题

CTRLshiftp 点击Go:Install/Update Tools 点击全选&#xff0c;OK&#xff01;

【外文原版书阅读】《机器学习前置知识》1.线性代数的重要性,初识向量以及向量加法

目录 ​编辑 ​编辑 1.Chapter 2 Why Linear Algebra? 2.Chapter 3 What Is a Vector? 个人主页&#xff1a;Icomi 大家好&#xff0c;我是Icomi&#xff0c;本专栏是我阅读外文原版书《Before Machine Learning》对于文章中我认为能够增进线性代数与机器学习之间的理解的…

对神经网络基础的理解

目录 一、《python神经网络编程》 二、一些粗浅的认识 1&#xff09; 神经网络也是一种拟合 2&#xff09;神经网络不是真的大脑 3&#xff09;网络构建需要反复迭代 三、数字图像识别的实现思路 1&#xff09;建立一个神经网络类 2&#xff09;权重更新的具体实现 3&am…

SOME/IP--协议英文原文讲解1

前言 SOME/IP协议越来越多的用于汽车电子行业中&#xff0c;关于协议详细完全的中文资料却没有&#xff0c;所以我将结合工作经验并对照英文原版协议做一系列的文章。基本分三大块&#xff1a; 1. SOME/IP协议讲解 2. SOME/IP-SD协议讲解 3. python/C举例调试讲解 一、SOM…

移动光猫怎么自己改桥接模式?

环境&#xff1a; 型号H3-8s 问题描述&#xff1a; 家里宽带用的是H3-8s 光猫&#xff0c;想改桥接模式。 解决方案&#xff1a; 1.默认管理员账号和密码&#xff1a; 账号&#xff1a;CMCCAdmin 密码&#xff1a;aDm8H%MdAWEB页面我试了登陆不了&#xff0c;显示错误 …

2D 超声心动图视频到 3D 心脏形状重建的临床应用| 文献速递-医学影像人工智能进展

Title 题目 2D echocardiography video to 3D heart shape reconstruction for clinicalapplication 2D 超声心动图视频到 3D 心脏形状重建的临床应用 01 文献速递介绍 超声心动图是心血管医学中一种至关重要且广泛应用的影像学技术&#xff0c;利用超声波技术捕捉心脏及其…

web端ActiveMq测试工具

如何用vue3创建简单的web端ActiveMq测试工具&#xff1f; 1、复用vue3模板框架 创建main.js,引入APP文件&#xff0c;createApp创建文件&#xff0c;并加载element插件&#xff0c;然后挂载dom节点 2、配置vue.config.js脚本配置 mport { defineConfig } from "vite&qu…

STM32 GPIO配置 点亮LED灯

本次是基于STM32F407ZET6做一个GPIO配置&#xff0c;实现点灯实验。 新建文件 LED.c、LED.h文件&#xff0c;将其封装到Driver文件中。 双击Driver文件将LED.c添加进来 编写头文件&#xff0c;这里注意需要将Driver头文件声明一下。 在LED.c、main.c里面引入头文件LED.h LED初…

DroneXtract:一款针对无人机的网络安全数字取证工具

关于DroneXtract DroneXtract是一款使用 Golang 开发的适用于DJI无人机的综合数字取证套件&#xff0c;该工具可用于分析无人机传感器值和遥测数据、可视化无人机飞行地图、审计威胁活动以及提取多种文件格式中的相关数据。 功能介绍 DroneXtract 具有四个用于无人机取证和审…