目录
一.为什么使用消息队列
二.RabbitMQ
1.RabbitMQ如何保证消息不丢失
2.RabbitMQ消息的重复消费问题
3.RabbitMQ延迟队列
4.RabbitMQ消息堆积
5.RabbitMQ高可用机制
三.Kafka
1.Kafka如何保证消息不丢失
2.Kafka如何保证消费消息的顺序性
3.Kafka高可用机制
4.Kafka数据清理机制
5.Kafka中实现高性能设计
一.为什么使用消息队列
使用消息队列的主要目的主要记住这几个关键词:解耦、异步、削峰填谷
解耦:在一个复杂的系统中,不同的模块或服务之间可能需要相互依赖,如果直接使用函数调用或者API调用的方式,会造成模块之间的耦合,当其中一个模块发生改变时,需要同时修改调用方和被调用方的代码。而使用消息队列作为中间件,不同的模块可以将消息发送到消息队列中,不需要知道具体的接收方是谁,接收方可以独立地消费消息,实现了模块之间的解耦。
异步:有些操作比较耗时,例如发送邮件、生成报表等,如果使用同步的方式处理,会阻塞主线程或者进程,导致系统的性能下降。而使用消息队列,可以将这些操作封装成消息,放入消息队列中,异步地处理这些操作,不影响主流程的执行,提高了系统的性能和响应速度。
削峰填谷:削峰填谷是一种在高并发场景下平衡系统压力的技术,通常用于平衡系统在高峰期和低谷期的资源利用率,提高系统的吞吐量和响应速度。在削峰填谷的过程中,通常使用消息队列作为缓冲区,将请求放入消息队列削峰填谷中,然后在系统负载低的时候进行处理。这种方式可以将系统的峰值压力分散到较长的时间段内,减少瞬时压力对系统的影响,从而提高系统的稳定性和可靠性。
另外消息队列还有以下优点:
1.可靠性高:消息队列通常具有高可靠性,可以实现消息的持久化存储、消息的备份和故障恢复等功能,保证消息不会丢失
2.扩展性好:通过增加消息队列实例或者添加消费者实例,可以实现消息队列的水平扩展,提高系统的处理能力
3.灵活性高:消息队列通常支持多种消息传递模式,如点对点模式和发布/订阅模式,可以根据不同的业务场景选择不同的模式