文章目录
- 🍃前言
- 🌲消息队列背景知识
- 🌳需求分析
- 🚩核心概念
- 🚩核心API
- 🚩交换机类型(Exchange Type)
- 🚩持久化
- 🚩网络通信
- 🚩消息应答
- 🚩模块划分
- ⭕总结
🍃前言
博主将从零开始开发一个消息队列的项目，今天是项目的第一天。
今天我们的任务有以下两点：
- 了解消息队列的背景知识
- 对该项目进行需求分析，为后续开发项目有一个前进的方向
🌲消息队列背景知识
在实际的后端开发中,尤其是分布式系统⾥,跨主机之间使⽤⽣产者消费者模型,也是⾮常普遍的需求.
因此,我们通常会把阻塞队列,封装成⼀个独⽴的服务器程序,并且赋予其更丰富的功能.
这样的程序我们就称为消息队列(Message Queue, MQ)
市面上成熟的消息队列⾮常多.
- RabbitMQ
- Kafka
- RocketMQ
- ActiveMQ
- …
其中,RabbitMQ 是⼀个非常知名,功能强⼤,⼴泛使⽤的消息队列.
这里咱们就仿照RabbitMQ,模拟实现⼀个简单的消息队列.
🌳需求分析
我们先来理解一下几个核心概念
🚩核心概念
-
生产者(Producer)
-
消费者(Consumer)
-
中间⼈(Broker)
-
发布(Publish)
-
订阅(Subscribe)
几者关系如下图所示：
⼀个生产者,⼀个消费者
N个生产者，N个消费者
其中,Broker是最核心的部分.负责消息的存储和转发.
在Broker中,⼜存在以下概念.
-
虚拟机(VirtualHost):类似于MySQL的"database",是⼀个逻辑上的集合.⼀个BrokerServer上可以存在多个VirtualHost.
-
交换机(Exchange):生产者把消息先发送到Broker的Exchange上.再根据不同的规则,把消息转发给不同的Queue.
-
队列(Queue):真正⽤来存储消息的部分.每个消费者决定自己从哪个Queue上读取消息.
-
绑定(Binding):Exchange和Queue之间的关联关系.Exchange和Queue可以理解成"多对多"关系.使用⼀个关联表就可以把这两个概念联系起来.
-
消息(Message):传递的内容.
所谓的Exchange和Queue可以理解成"多对多"关系,和数据库中的"多对多"⼀样.
意思是:⼀个Exchange可以绑定多个Queue(可以向多个Queue中转发消息).
⼀个Queue也可以被多个Exchange绑定(⼀个Queue中的消息可以来⾃于多个Exchange).
上述几个核心概念关系如下图所示：
这些概念,既需要在内存中存储,也需要在硬盘上存储，原因如下：
- 内存存储:⽅便使⽤.
- 硬盘存储:重启数据不丢失.
针对不同的要求不同，所以存储概念也不同
🚩核心API
对于Broker来说,要实现以下核心API.通过这些API来实现消息队列的基本功能.
- 创建队列(queueDeclare)
- 销毁队列(queueDelete)
- 创建交换机(exchangeDeclare)
- 销毁交换机(exchangeDelete)
- 创建绑定(queueBind)
- 解除绑定(queueUnbind)
- 发布消息(basicPublish)
- 订阅消息(basicConsume)
- 确认消息(basicAck)
后面我们进行一一实现
🚩交换机类型(Exchange Type)
对于 RabbitMQ 来说,主要支持四种交换机类型.
- Direct
- Fanout
- Topic
- Header
其中Header这种方式比较复杂,比较少见.常⽤的是前三种交换机类型.咱们此处也主要实现以下这三种.
- Direct:生产者发送消息时,直接指定被该交换机绑定的队列名.
- Fanout:生产者发送的消息会被复制到该交换机的所有队列中.
- Topic:绑定队列到交换机上时,指定⼀个字符串为bindingKey.发送消息指定⼀个字符串为routingKey.当routingKey和bindingKey满⾜⼀定的匹配条件的时候,则把消息投递到指定队列
🚩持久化
Exchange,Queue,Binding,Message都有持久化需求.
当程序重启/主机重启,保证上述内容不丢失.
🚩网络通信
生产者和消费者都是客⼾端程序,broker则是作为服务器.通过网络进⾏通信.
在网络通信的过程中,客⼾端部分要提供对应的api,来实现对服务器的操作.
- 创建 Connection
- 关闭 Connection
- 创建 Channel
- 关闭 Channel
- 创建队列(queueDeclare)
- 销毁队列(queueDelete)
- 创建交换机(exchangeDeclare)
- 销毁交换机(exchangeDelete)
- 创建绑定(queueBind)
- 解除绑定(queueUnbind)
- 发布消息(basicPublish)
- 订阅消息(basicConsume)
- 确认消息(basicAck)
可以看到,在broker的基础上,客户端还要增加Connection操作和Channel操作.
Connection对应⼀个TCP连接.
Channel则是Connection中的逻辑通道.
⼀个Connection中可以包含多个Channel.
Channel和Channel之间的数据是独立的.不会相互干扰.
这样的设定主要是为了能够更好的复用TCP连接,达到⻓连接的效果,避免频繁的创建关闭TCP连接.
Connection可以理解成⼀根网线.Channel则是网线里具体的线缆.
🚩消息应答
被消费的消息,需要进行应答.
应答模式分成两种.
- 自动应答:消费者只要消费了消息,就算应答完毕了.Broker直接删除这个消息.
- 手动应答:消费者手动调⽤应答接⼝,Broker收到应答请求之后,才真正删除这个消息.
手动应答的目的,是为了保证消息确实被消费者处理成功了.在⼀些对于数据可靠性要求⾼的场景,比较常见
🚩模块划分
对上述所涉及到的知识点进行一个整体模块划分，如下图所示：
⭕总结
关于《【消息队列开发】 背景知识与需求分析》就讲解到这儿，感谢大家的支持，欢迎各位留言交流以及批评指正，如果文章对您有帮助或者觉得作者写的还不错可以点一下关注，点赞，收藏支持一下
