RabbitMQ基础

目录

RabbitMQ的可靠性投递

确保消息正确地发送至 RabbitMQ

确保消息接收方消费了消息

流程分析

1.生产者发送消息给Broker

2.交换机路由消息到队列

3.消息存储在队列

4.消费者订阅并消费消息

三个重要概念

RabbitMQ集群模式

RabbitMQ的可靠性投递

在 RabbitMQ 中，确保消息正确地发送和消息接收方消费消息通常需要采取一些措施。

确保消息正确地发送至 RabbitMQ

  1. 生产者确认：RabbitMQ 支持生产者确认机制，即发布确认（Publisher Confirms）。通过启用生产者确认，生产者可以等待 RabbitMQ 确认消息已成功接收并存储，然后再继续发送下一条消息。

  2. 消息持久性：在发布消息时，确保消息被标记为持久性（persistent）。这意味着消息将被保存到磁盘，即使 RabbitMQ 服务器重启，消息也不会丢失。

  3. 交换机和队列的持久性：确保交换机和队列也被标记为持久性，以防止它们在 RabbitMQ 服务器重启时丢失。

  4. 备份交换机：使用备份交换机（Alternate Exchange）来确保消息在无法路由到目标队列时不会丢失。备份交换机将无法路由的消息路由到备份队列，以供后续处理。

确保消息接收方消费了消息

  1. 消费者确认：在消费者端，您可以使用消费者确认来确保消息已被正确处理。RabbitMQ 支持基本确认模式，消费者可以发送确认给 RabbitMQ，告知它已成功接收和处理消息。如果消费者未发送确认，消息将被重新排队，确保不会丢失。

  2. 消息应答模式：RabbitMQ 支持两种消息应答模式，分为自动应答和手动应答。在手动应答模式下，消费者必须明确发送应答以告知 RabbitMQ 消息已被处理。这提供了更大的控制力和可靠性，因为只有在确认消息处理后才会发送应答。

  3. 消息持久性：如果消费者接收到消息后，将其处理并将结果写入数据库或其他持久性存储，可以确保消息被持久化。这样即使消费者故障，可以在重新启动后重新处理消息。

  4. 幂等性处理：消费者应该实现幂等性处理，以确保多次处理相同消息的效果与一次处理相同消息的效果相同。这样即使消息重复传递，也不会引起问题。

流程分析

1.生产者发送消息给Broker

  • 怎么知道消息发送成功了？

    RabbitMQ 里面提供了两种服务端确认机制进行应答，告知生产者是否发送成功

    • Transaction（事务）模式

      通过一个 channel.txSelect()的方法把信道设置成事务模式，当Broker回复Producer一个Ack(Commit-OK指令)后，才能提交成功。同步阻塞的方式缺点也很明显：需要等待，消耗性能，不建议生产使用。

    • Confirm（确认）模式(总共有三种)

      将信道设置成 confirm 模式（发送方确认模式），则所有在信道上发布的消息都会被指派一个唯一的 ID。 一旦消息被投递到目的队列后，或者消息被写入磁盘后（可持久化的消息），信道会发送一个确认给生产者（包含消息唯一 ID），发送方确认模式通常选择异步的。

      • 普通确认模式：发一条确认一条->缺点就是有点慢

      • 批量确认模式：发一批，没异常默认都接收了->缺点是一批是多少？怎么衡量？

      • 异步确认模式：生产者应用程序在等待确认的同时，可以继续发送消 息。

  • 怎么避免消息重复投递或重复消费？

    • 在消息生产时：MQ 内部针对每条生产者发送的消息生成一个 inner-msg-id，作为去重的依据（消息投递失败并重传），避免重复的消息进入队列。

    • 在消息消费时：要求消息体中必须要有一个 bizId（对于同一业务全局唯一，如支付 ID、订单 ID、帖子 ID 等）作为去重的依据，避免同一条消息被重复消费。

  • 消息基于什么传输？

    由于 TCP 连接的创建和销毁开销较大，且并发数受系统资源限制，会造成性能瓶 颈。RabbitMQ 使用信道的方式来传输数据。信道是建立在真实的 TCP 连接内的 虚拟连接，且每条 TCP 连接上的信道数量没有限制。

2.交换机路由消息到队列

  • 怎么处理消息无法正确路由到队列？

    1. 消息回发的方式：服务端重发给生产者，提供错误码告知路由失败消息。

    2. 消息路由到备份交换机的方式：在创建交换机的时候，指定备份交换机存放以备后续处理。

3.消息存储在队列

  • 没有消费者消费的情况下，队列存储在自身数据库，怎么防止异常情况下(重启、宕机 、关闭等)导致内存中的消息丢失？

    队列持久化、交换机持久化、消息持久化、使用集群多个节点同步备份。

  • 怎么分发消息给消费者?

    若该队列至少有一个消费者订阅，消息将以循环（round-robin）的方式发送给消 费者。每条消息只会分发给一个订阅的消费者（前提是消费者能够正常处理消息并进行确认）。

4.消费者订阅并消费消息

  • 怎么确认接收成功？

    消费者确认机制：自动或手动发送Ack给服务端。Ack设置的三个值：NONE（自动Ack）、MANUAL（手动Ack）、AUTO（没异常就发送Ack）。

三个重要概念

在 RabbitMQ 中，消息的幂等性、顺序性和最终一致性是消息处理的重要概念，用于确保消息系统的可靠性和正确性。

1. 消息的幂等性（Message Idempotence）：

  • 概念：消息的幂等性是指无论消息被处理多少次，其效果都与一次处理的效果相同。即使消息重复传递，也不会引发不一致性或错误结果。

  • 实现：为实现消息的幂等性，生产者和消费者可以采用以下方法：

    • 在生产者端为每个消息分配唯一的消息标识符（Message ID），并在消费者端维护已经处理过的消息 ID 列表。在处理消息前，消费者可以检查消息 ID 是否已经存在于列表中，如果存在则不处理。

2. 消息的顺序性（Message Ordering）：

  • 概念：消息的顺序性要求消息在传递和处理时保持特定的顺序，即消息按照其发送的顺序进行处理。

  • 实现：RabbitMQ 本身保证单个队列内消息的顺序性，但在分布式系统中，全局顺序性可能更为复杂。为实现全局顺序性，可以采用以下方法：

    • 使用单一队列：将所有相关消息发送到单一队列，这样可以确保它们按顺序处理。

    • 基于分区键（Partition Key）：将消息根据某个关键属性（如订单号）分发到不同的队列或分区，然后在消费者端将它们重新排序。

3. 消息的最终一致性（Message Eventually Consistency）：

  • 概念：最终一致性指的是在分布式系统中，即使系统出现故障或网络延迟，最终数据仍然达到一致性状态。

  • 实现：实现最终一致性需要以下策略：

    • 异步确认：在消息处理完成后，异步发送确认，即使消费者端出现故障，消息系统也可以在稍后重新传递消息。

    • 消息持久性：将消息和数据持久化，以确保即使系统重启，消息不会丢失。

    • 冗余：使用多个副本以增加系统的可用性和冗余。

综合考虑这些概念，RabbitMQ 中的消息可以通过确保消息的幂等性、维护顺序性和实现最终一致性来处理。这些概念和实现方法可以帮助设计和构建可靠的消息传递系统。

RabbitMQ集群模式

集群主要用于实现高可用与负载均衡。

  • 高可用：如果集群中的某些 MQ 服务器不可用，客户端还可以连接到其他MQ服务器。

  • 负载均衡：在高并发的场景下，单台 MQ 服务器能处理的消息有限，可以分发给多台 MQ 服务器。

RabbitMQ 有两种集群模式：普通集群模式和镜像队列模式。

  • 普通集群模式下，不同的节点之间只会相互同步元数据。普通集群模式不能保证队列的高可用性，因为队列内容不会复制。如果节点失效将导致相关队列不可用，因此我们需要第二种集群模式。

  • 镜像队列模式下，消息内容会在镜像节点间同步，可用性更高。不过也有一定的副作用，系统性能会降低，节点过多的情况下同步的代价比较大。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/106958.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

TS中类型别名和接口区别

TS中类型别名和接口区别

在很多场景下，interface 和 type都能使用，因此两者在很多时候会被混淆： 接口可以通过之间的继承，实现多种接口的组合 使用类型别名也可以实现多种的，通过&连接,有差异： 子接口中不能重新覆盖父接口中…
阅读更多...
迭代器的封装与反向迭代器

迭代器的封装与反向迭代器

一、反向迭代器 在list模拟实现的过程中，第一次接触了迭代器的封装，将list的指针封装成了一个新的类型，并且以迭代器的基本功能对其进行了运算符重载 反向迭代器是对正向迭代器的封装，并且体现了泛型编程的思想，任意…
阅读更多...
0基础学习PyFlink——用户自定义函数之UDAF

0基础学习PyFlink——用户自定义函数之UDAF

大纲 UDAF入参并非表中一行（Row）的集合计算每个人考了几门课计算每门课有几个人考试计算每个人的平均分计算每课的平均分计算每个人的最高分和最低分 入参是表中一行（Row）的集合计算每个人的最高分、最低分以及所属的课程计算每课…
阅读更多...
中文编程工具免费版下载，中文开发语言工具免费版下载

中文编程工具免费版下载，中文开发语言工具免费版下载

中文编程工具免费版下载，中文开发语言工具免费版下载 中文编程工具开发的实际部分案例如下图 编程系统化课程总目录及明细，点击进入了解详情。 https://blog.csdn.net/qq_29129627/article/details/134073098?spm1001.2014.3001.5502
阅读更多...
栈、队列、矩阵的总结

栈、队列、矩阵的总结

栈的应用 括号匹配 表达式求值（中缀，后缀） 中缀转后缀（机算） 中缀机算 后缀机算 总结 特殊矩阵 对称矩阵的压缩存储 三角矩阵 三对角矩阵 稀疏矩阵的压缩存储
阅读更多...
龙芯3A5000上安装微信

龙芯3A5000上安装微信

原文链接：龙芯3A5000上安装微信 hello，大家好啊，今天给大家带来一篇在龙芯3A5000上安装微信的文章，主要给大家展示一下在龙芯架构上使用微信的情况，看看内置浏览器、看一看、小程序等是否能正常打开使用。 1、查看系统…
阅读更多...
Hadoop 请求数据长度 Requested Data length 超过配置的最大值

Hadoop 请求数据长度 Requested Data length 超过配置的最大值

一、问题 现象 Spark 任务速度变慢，也不失败。 DataNode 内存足够 CPU 负载不高 GC 时间也不长。 查看 DataNode 日志，发现有些日志出现很多 Netty RPC 超时。超时的 destination 是一个 NameNode 节点，然后查看 NameNode 节点的日志&…
阅读更多...
28 行为型模式-中介者模式

28 行为型模式-中介者模式

1 中介者模式介绍 2 中介者模式原理 3 中介者模式实现 /*** 抽象中介者**/ public interface Mediator {//处理同事对象注册与转发同事对象信息的方法void apply(String key); }/*** 具体中介者**/ public class MediatorImpl implements Mediator {Overridepublic void apply…
阅读更多...
Spring的执行流程与Bean的生命周期

Spring的执行流程与Bean的生命周期

目录 一、Spring的执行流程（生命周期） 二、Bean的生命周期 一、Spring的执行流程（生命周期） 首先在Spring的执行过程中会先启动容器，这里是将配置文件进行加载。根据配置文件完成Bean的实例化，比如是配置的…
阅读更多...
安防监控项目---boa服务器的移植

安防监控项目---boa服务器的移植

文章目录 前言一、boa服务器简介二、移植步骤三、测试结果四、A9平台移植BOA总结 前言 书接上期，在配置完成环境后，那么接下来呢还得移植两个非常关键的东西，一个呢时boa服务器，另一个呢时cgi接口，boa服务器能够使得我…
阅读更多...
干式电抗器的尺寸和重量对系统有什么影响？

干式电抗器的尺寸和重量对系统有什么影响？

干式电抗器是一种用于电力系统中的无功补偿设备，其尺寸和重量对系统有以下几方面的影响，干式电抗器的尺寸和重量会影响设备的安装和布置，较大尺寸和重量的电抗器需要更大的安装空间，并且可能需要额外的支撑结构。在设计系统时需要…
阅读更多...
做跨境电商你要用到的API（获取英文商品详情介绍API）

做跨境电商你要用到的API（获取英文商品详情介绍API）

item_get获取商品详情数据 支持以上网站以及亚马逊、阿里巴巴、虾皮、Lazada、速卖通等跨境电商。 获取商品返回示例 "item": {"num_iid": "60840463360","title": "Slip-On Daily Urban Walking Shoes","desc_shor…
阅读更多...
CPU眼里的C/C++: 1.3 汇编级单步调试函数执行过程

CPU眼里的C/C++: 1.3 汇编级单步调试函数执行过程

1. 目的 2. 基于 GDB 的汇编级单步调试 原始代码 #include <stdio.h>long test() {long a 1;a 2;return a; }int main() {int ret test();printf("test return %d\n", ret);return 0; }关键 gdb 命令 si 指令执行汇编级的单步调试info registers 读取寄…
阅读更多...
分布式消息队列:RabbitMQ(1)

分布式消息队列:RabbitMQ(1)

目录 一:中间件 二:分布式消息队列 2.1:是消息队列 2.1.1:消息队列的优势 2.1.1.1:异步处理化 2.1.1.2:削峰填谷 2.2:分布式消息队列 2.2.1:分布式消息队列的优势 2.2.1.1:数据的持久化 2.2.1.2:可扩展性 2.2.1.3:应用解耦 2.2.1.4:发送订阅 2.2.2:分布式消息队列…
阅读更多...
【内网穿透】搭建我的世界Java版服务器，公网远程联机

【内网穿透】搭建我的世界Java版服务器，公网远程联机

目录 前言 1. 搭建我的世界服务器 1.1 服务器安装java环境 1.2 配置服务端 2. 测试局域网联机 3. 公网远程联机 3.1 安装cpolar内网穿透 3.1.1 windows系统 3.1.2 linux系统&#xff08;支持一键自动安装脚本&#xff09; 3.2 创建隧道映射内网端口 3.3 测试公网远程…
阅读更多...
编程实例：眼镜店顾客档案管理系统软件，可以登记顾客信息查询历史记录，视力检查登记查询，配镜销售单开单打印

编程实例：眼镜店顾客档案管理系统软件，可以登记顾客信息查询历史记录，视力检查登记查询，配镜销售单开单打印

编程实例&#xff1a;眼镜店顾客档案管理系统软件&#xff0c;可以登记顾客信息查询历史记录&#xff0c;视力检查登记查询&#xff0c;配镜销售单开单打印 编程系统化课程总目录及明细&#xff0c;点击进入了解详情。 https://blog.csdn.net/qq_29129627/article/details/1340…
阅读更多...
1-07 React配置postcss-px-to-viewport

1-07 React配置postcss-px-to-viewport

React配置postcss-px-to-viewport 移动端适配 安装依赖&#xff1a;在项目根目录下运行以下命令安装所需的依赖包&#xff1a; npm install postcss-px-to-viewport --save-dev配置代码 const path require(path);module.exports {webpack: {alias: {: path.resolve(__di…
阅读更多...
轻量封装WebGPU渲染系统示例＜6＞-混合模式(源码)

轻量封装WebGPU渲染系统示例＜6＞-混合模式(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/version-1.01/src/voxgpu/sample/BlendTest.ts 此示例渲染系统实现的特性: 1. 用户态与系统态隔离。 2. 高频调用与低频调用隔离。 3. 面向用户的易用性封装。 4. 渲染数据和渲染机制分离。 5. 用户…
阅读更多...
基于springboot零食商城管理系统

基于springboot零食商城管理系统

功能如图所示 摘要 这基于Spring Boot的零食商城管理系统提供了强大的购物车和订单管理功能。用户可以在系统中浏览零食产品&#xff0c;并将它们添加到购物车中。购物车可以保存用户的选购商品&#xff0c;允许随时查看已选择的商品和它们的数量。一旦用户满意&#xff0c;他们…
阅读更多...
推荐一个高效测试用例工具：XMind2TestCase..

推荐一个高效测试用例工具：XMind2TestCase..

一、背景 软件测试的核心是什么&#xff1f;毫无疑问是测试分析和测试用例设计&#xff0c;也是日常测试投入最多时间的工作内容之一。 然而&#xff0c;传统的测试用例设计过程有很多痛点&#xff1a; 1、使用Excel表格进行测试用例设计&#xff0c;虽然成本低&#xff0c;但…
阅读更多...
最新文章

Copyright @ 2022~2023