图解 Kafka 架构

写在前面

Kafka 是一个可横向扩展，高可靠的实时消息中间件，常用于服务解耦、流量削峰。
好像是 LinkedIn 团队开发的，后面捐赠给apache基金会了。

在这里插入图片描述

kafka

总体架构图

在这里插入图片描述

  • Producer：生产者，消息的产生者，是消息的入口。
  • Broker：Broker 是 kafka 一个实例，每个服务器上有一个或多个 kafka 的实例，简单的理解就是一台 kafka 服务器，kafka cluster 表示集群的意思
  • Topic：消息的主题，可以理解为消息队列，kafka的数据就保存在topic。在每个 broker 上都可以创建多个 topic 。
  • Partition：Topic的分区，每个 topic 可以有多个分区，分区的作用是做负载，提高 kafka 的吞吐量。同一个 topic 在不同的分区的数据是不重复的，partition 的表现形式就是一个一个的文件夹。
  • Replication：每一个分区都有多个副本，副本的作用是做备胎，leader节点会将数据同步到follow从节点。当leader故障的时候会选择一个follower ，成为 leader，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本。

在这里插入图片描述

  • Consumer：消费者，消息的消费方，是消息的出口。
  • Consumer Group：可以将多个消费组构成一个消费者组，同一个 partition 的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量。
  • Zookeeper：kafka 2.8 版本之前是依赖 zookeeper 来保存集群的的元信息，来保证系统的可用性。
  • Raft：kafka 2.8 版本之后就根据 raft 来保证系统的可用性。

为什么同一个 partition 的数据只能被消费者组中的某一个消费者消费？
在这里插入图片描述

  1. 顺序性：Kafka 保证了同一个分区内的消息是有序的，如果允许多个消费者并行消费同一个分区的消息，那么消息的顺序性将无法得到保证。当然由于各个分区的不同，我们顺序性还是不要靠kafka，在自己业务做判定。
  2. 负载均衡：通过让不同的消费者组内的消费者分摊不同的分区，Kafka 实现了负载均衡，确保每个消费者都有机会消费消息，同时避免了重复消费。
  3. Offset 管理：每个消费者在消费时都会维护自己的 offset，如果多个消费者同时消费同一个分区，那么 offset 的管理将变得复杂，可能会导致重复消费或者消息丢失。

发送数据

kafka 会每次发送数据都是向 leader节点发送数据，并顺序写入到磁盘，然后 leader节点会将数据同步到各个从节点follower，即使主节点挂了，也不会影响服务的正常运行。
在这里插入图片描述

  1. producer 生产者获取 leader 节点，将消息发送给leader节点。
  2. leader节点将消息持久化到本地后，将数据同步到各个follower节点。
  3. leader节点收到各个follower节点的ack后，发送ack给producer

消费数据

和生产者一样，消费者主动到kafka集群中拉取消息时，也是从leader节点去拉取数据。

在这里插入图片描述

  1. 获取leader节点
  2. 拉去offset为0的数据进行消费
  3. 消费成功后发送ack，offset将会移动到下一位，待下次消费定位数据

kafka 为什么会那么快？

一共有四个原因

  1. 磁盘顺序读写
  2. PageCache 页缓存技术
  3. 零拷贝技术
  4. kafka 分区架构

磁盘顺序读写

生产者发送数据到 kafka 集群中，最终会写入到磁盘中，会采用顺序写入的方式。消费者从 kafka 集群中获取数据时，也是采用顺序读的方式。无论是机械磁盘还是固态硬盘 SSD，顺序读写的速度都是远大于随机读写的。

  • 机械磁盘顺序读写省去了磁头频繁寻址和旋转盘片的开销
  • 固态硬盘SSD以Page为单位做读写，以Block为单位做垃圾回收。写相同数据量的情况下，顺序写制造更少的垃圾Block，所以比随机写有更高的性能。

PageCache 页缓存技术

  • 当 kafka 有写操作时，先将数据写入PageCache中，然后在顺序写入到磁盘中。
  • 当读操作发生时，先从PageCache中查找，如果找不到，再去磁盘中读取。

在这里插入图片描述

零拷贝技术

一般性能的瓶颈都是网络io、磁盘io。我们来看下从磁盘读取数据到网卡场景下，传统 IO 的整个过程：
在这里插入图片描述
DMA方式，Direct Memory Access，也称为成组数据传送方式，有时也称为直接内存操作。DMA方式在数据传送过程中，没有保存现场、恢复现场之类的工作。

传统 IO 模型下，从磁盘读取数据，写到网卡设备中，经历了 4 次用户态和内核态之间的切换和数据的拷贝。红色箭头为数据拷贝。
那能不能让拷贝次数发送的少一点呢？但是kafka 采用了 sendfile 的零拷贝技术
在这里插入图片描述

所谓的零拷贝技术不是指不发生拷贝，而是在用户态没有进行拷贝。

kafka 分区架构

  • 分区架构：kafka 集群架构采用了多分区技术，并行度高。

在这里插入图片描述

参考

[1] https://strikefreedom.top/archives/why-kafka-is-so-fast
[2] https://cloud.tencent.com/developer/article/2185290
[3] https://serverfault.com/questions/843628/why-do-sequential-writes-have-better-performance-than-random-writes-on-ssds
[4] https://xie.infoq.cn/article/51b6764c48ff70988e124a868

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/766749.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

android AIDL使用demo

android AIDL使用demo

背景 最近打算学习一下如何在framework层添加一个自定义service。 了解到自定义service需要使用aidl，为了加强对aidl的了解和使用过程，特意又温习了一下aidl的使用，并用博客的形式记录下来。 aidl官方参考：https://developer.and…
阅读更多...
不同系统间数据交换要通过 api 不能直接数据库访问

不同系统间数据交换要通过 api 不能直接数据库访问

很多大数据开发提供数据给外部系统直接给表结构，这是不好的方式。在不同系统间进行数据交换时，通过API（应用程序编程接口）而非直接访问数据库是现代系统集成的一种最佳实践。 目录 为什么要通过API进行数据交换如何通过API进行数据…
阅读更多...
论文辅导 | 基于多尺度分解的LSTM⁃ARIMA锂电池寿命预测

论文辅导 | 基于多尺度分解的LSTM⁃ARIMA锂电池寿命预测

辅导文章 模型描述 锂电池剩余使用寿命（Remaining useful life，RUL）预测是锂电池研究的一个重要方向，通过对RUL的准确预测，可以更好地管理和维护电池，延长电池使用寿命。为了能够准确预测锂电池的RUL&…
阅读更多...
STM32 看门狗 HAL

STM32 看门狗 HAL

由时钟图可以看出看门狗采用的是内部低速时钟，频率为40KHz 打开看门狗，采用32分频，计数1250。 结合设置的分频系数和重载计数值，我们可以计算出看门狗的定时时间： 32*1250/40kHz 1s 主函数中喂狗就行 HAL_IWDG_Ref…
阅读更多...
STM32 HAL库读取ID

STM32 HAL库读取ID

在stm32f1xx_hal.c文件中由读取ID号的子函数，不同单片机的UID_BASE不同，本单片机用的是STM32F103CBT6,跳转之后可以看到地址为：0x1FFFF7E8 在程序中只需定义一个数组调用读取ID的函数即可 uint32_t UID[3]; while(1) { UID[0] HAL_GetUIDw0…
阅读更多...
catia数控加工仿真铣平面粗加工

catia数控加工仿真铣平面粗加工

1，零件建模，毛坯建模 2 在毛坯上建立坐标系 3 添加资料刀具 4，双击对相关加工信息做设置 5 Roughing 加工设置 高亮红色区域是必选的，其他可以默认 6 完成加工仿真 7 加工余量
阅读更多...
EasyExcel4导入导出数据（基于MyBatisPlus）

EasyExcel4导入导出数据（基于MyBatisPlus）

一、POM依赖 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><m…
阅读更多...
Camera Raw：编辑 - 细节

Camera Raw：编辑 - 细节

Camera Raw “编辑”模块中的细节 Detail面板用于增强照片的锐度和减少噪点。通过对锐化和降噪进行精细调整&#xff0c;可以提高图像的清晰度&#xff0c;减少噪点&#xff0c;提高图像质量。 ◆ ◆ ◆ 使用方法与技巧 1、增强照片锐度 较小的“半径”&#xff0c;较大的“细…
阅读更多...
如何解决大文件传输存在的痛点，实现高效流转？

如何解决大文件传输存在的痛点，实现高效流转？

在当代的数字化时代&#xff0c;数据资产在各行各业中扮演着举足轻重的角色&#xff0c;而数据的流通与交换则是其价值得以实现的关键。企业在进行大文件传输时&#xff0c;都面临着诸多挑战&#xff0c;比如网络延迟、大小受限、安全风险等。因此&#xff0c;如何高效安全的进…
阅读更多...
springboot个人证书管理系统16679

springboot个人证书管理系统16679

springboot个人证书管理系统 摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了个人证书管理系统的开发全过程。通过分析个人证书管理系统管理的不足&#xff0c;创建了一个计算机管理个人证书管理系统的方案。文…
阅读更多...
3、FTL基本工作过程

3、FTL基本工作过程

上文描述了FTL的四大功能&#xff0c;这里简述一下每个功能的含义。 地址转换简述 FTL要维护一个地址转换表&#xff0c;这个转换表是主机读/写硬盘的逻辑地址到硬盘实际物理地址的转换关系。 假如SSD的容量是128G&#xff0c;SSD逻辑块的大小是4KB&#xff0c;那SSD的逻辑块…
阅读更多...
Linux系统的服务——以Centos7为例

Linux系统的服务——以Centos7为例

一、Linux系统的服务简介 服务是向外部提供对应功能的进程&#xff0c;其运行在系统后台&#xff0c;能够7*24小时持续不断的提供外界随时发来的服务请求&#xff0c;且服务进程常驻在内存中&#xff0c;具有固定的端口号&#xff0c;通过端口号就能找到服务内容。 提供服务的一…
阅读更多...
Linux源码阅读笔记10-进程NICE案例分析2

Linux源码阅读笔记10-进程NICE案例分析2

set_user_nice set_user_nice函数功能&#xff1a;设置某一进程的NICE值&#xff0c;其NICE值的计算是根据进程的静态优先级&#xff08;task_struct->static_prio&#xff09;&#xff0c;直接通过set_user_nice函数更改进程的静态优先级。 内核源码 void set_user_nice…
阅读更多...
Unity3d C#实现基于UGUI ScrollRect的轮播图效果功能(含源码)

Unity3d C#实现基于UGUI ScrollRect的轮播图效果功能(含源码)

前言 轮播功能是一种常见的页面组件&#xff0c;用于在页面中显示多张图片/素材并自动或手动进行切换&#xff0c;以提高页面的美观度和用户体验。主要的功能是&#xff1a;自动/手动切换;平滑的切换效果;导航指示器等。可惜Unity的UGUI系统里没有现成的实现该功能&#xff0c…
阅读更多...
BiTCN-Attention一键实现回归预测+8张图+特征可视化图！注意力全家桶再更新！

BiTCN-Attention一键实现回归预测+8张图+特征可视化图！注意力全家桶再更新！

声明&#xff1a;文章是从本人公众号中复制而来&#xff0c;因此&#xff0c;想最新最快了解各类智能优化算法及其改进的朋友&#xff0c;可关注我的公众号&#xff1a;强盛机器学习&#xff0c;不定期会有很多免费代码分享~ 目录 原理简介 数据介绍 结果展示 全家桶代码目…
阅读更多...
pom.xml文件加载后没有变成maven图标

pom.xml文件加载后没有变成maven图标

原因&#xff1a; 开启了IDEA的节电模式 现象为&#xff1a; xml会变橙色&#xff0c;yml变粉色&#xff0c;自动提示关闭等 把这个节能模式的勾选给取消掉就可以正常显示了
阅读更多...
flask的基本使用

flask的基本使用

1 sqlalchemy 快速使用 # 1 sqlalchemy 企业级orm框架# 2 python界的orm框架-1 django-orm #只能django框架用-2 peewee # 小型orm框架&#xff1a;https://docs.peewee-orm.com/en/latest/peewee/quickstart.html-----同步orm框架------3 sqlalchemy # 企业级…
阅读更多...
虚拟机交叉编译基于ARM平台的opencv(ffmpeg/x264)

虚拟机交叉编译基于ARM平台的opencv(ffmpeg/x264)

背景&#xff1a; 由于手上有一块rk3568的开发板&#xff0c;需要运行yolov5跑深度学习模型&#xff0c;但是原有的opencv不能对x264格式的视频进行解码&#xff0c;这里就需要将ffmpegx264编译进opencv。 但是开发板算力有限&#xff0c;所以这里采用在windows下&#xff0c;安…
阅读更多...
React Native V0.74 — 稳定版已发布

React Native V0.74 — 稳定版已发布

嗨，React Native开发者们， React Native 世界中令人兴奋的消息是，V0.74刚刚在几天前发布，有超过 1600 次提交。亮点如下： Yoga 3.0New Architecture: Bridgeless by DefaultNew Architecture: Batched onLayout UpdatesYarn 3 for New Projects让我们深入了解每一个新亮点…
阅读更多...
k8s 中间件

k8s 中间件

1. zookeeper 是的&#xff0c;Zookeeper 和 Kafka 经常一起使用&#xff0c;Zookeeper 在 Kafka 中扮演了关键角色。以下是 Zookeeper 和 Kafka 在实际项目中的结合使用及其作用的详细说明。 项目背景 假设我们有一个分布式数据处理系统&#xff0c;该系统需要高吞吐量的实…
阅读更多...
最新文章

Copyright @ 2022~2023