kafka（一）

一：kafka架构介绍

在这里插入图片描述

1. Brokers

kafka集群包括一个或者多个服务器，服务器的节点叫做broker。

2. Topic

  • 类似于数据库中的table。
  • 物理上不通的topic会分开存储。一个topic的消息会存储在多个broker上。但是在读取的时候，只要选择好topic，不需要管数据在何处。
  • 创建流程。
    1.controller在ZooKeeper的/brokers/topics节点上注册watcher，当topic被创建，则 controller会通过watch得到该topic的partition/replica分配。
    2.controller从/brokers/ids读取当前所有可用的broker列表，对于set_p中的每一个 partition：
    2.1从分配给该partition的所有replica（称为AR）中任选一个可用的broker作为新的 leader，并将AR设置为新的ISR
    2.2将新的leader和ISR写
    入/brokers/topics/[topic]/partitions/[partition]/state
    3.controller通过RPC向相关的broker发送LeaderAndISRRequest。
  • 删除流程
    1.controller在zooKeeper的/brokers/topics节点上注册watcher，当topic被删除，则 controller会通过watch得到该topic的partition/replica分配。
    2.若delete.topic.enable=false，结束；否则controller注册在/admin/delete_topics上 的watch被fire，controller通过回调向对应的broker发送StopReplicaRequest。

3. Partition

在这里插入图片描述

  • Topic的数据分割程伟一个或者多个partition。
  • 每个topic至少有一个partition，当生产者产生数据的时候，根据分区分配策略，选择分区，然后将消息最佳到指定分区的末尾。
 ## Partation数据路由规则
1. 指定了 patition，则直接使用；
2. 未指定 patition 但指定 key，通过对 key 的 value 进行hash 选出一个 patition 
3. patition 和 key 都未指定，使用轮询选出一个 patition。
  • 每一条消息都会有自增编号。

标识顺序
○ 用于标识消息的偏移量
○ 每个Partition都有自己独立的编号

  • partition中的数据是有序的，不同partition间的数据丢失了数据的顺序。 如果topic有多个partition，消费数据时就不能保证数据的顺序。严格保证消息的消费顺序的场景 下，需要将partition数目设为1。
  • 数据存储
    每个partition中的数据使用多个segment文件存储。每个segment由.index，.log，timeindex(后续增加进来的)
    在这里插入图片描述

.log文件结构
包括：offset(8 Bytes)、消息体的大小(4 Bytes)、crc32(4 Bytes)、
magic(1 Byte)、attributes(1 Byte)、key length(4 Bytes)、key(K Bytes)、payload(N Bytes)等等
字段，可以确定一条消息的大小，即读取到哪里截止。


> .index

offset: 7211 position: 448934 CreateTime: 1587632825139 isvalid: true payloadsize: 29 magic: 1 compresscodec: NONE crc: 995429819 payload: 阳光小区,11,1587632825139
offset: 7212 position: 448997 CreateTime: 1587632825139 isvalid: true payloadsize: 28 magic: 1 compresscodec: NONE crc: 2299568067 payload: 单身小区,5,1587632825139
offset: 7213 position: 449059 CreateTime: 1587632825139 isvalid: true payloadsize: 29 magic: 1 compresscodec: NONE crc: 2772987037 payload: 花花小区,12,1587632825139
offset: 7214 position: 449122 CreateTime: 1587632825139 isvalid: true payloadsize: 28 magic: 1 compresscodec: NONE crc: 2369864650 payload: 阳光小区,6,1587632825139
offset: 7215 position: 449184 CreateTime: 1587632825139 isvalid: true payloadsize: 28 magic: 1 compresscodec: NONE crc: 820724779 payload: 单身小区,4,1587632825139

.index文件

offset: 1269114 position: 79002134
offset: 1269231 position: 79009410
offset: 1269316 position: 79014708
offset: 1269456 position: 79023419
offset: 1269715 position: 79039540
offset: 1269838 position: 79047192
offset: 1269933 position: 79053095
offset: 1270083 position: 79062430

在这里插入图片描述

如果我们想要读取offset=368776的message（如图），步骤如下：
(1)查找segment file
00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找文件列表，就可以快速定位到具体文件。
当offset=368776时定位到00000000000000368769.index|log
(2)通过segment file查找message
通过第一步定位到segment file，当offset=368776时，依次定位到00000000000000368769.index的元数据物理位置和00000000000000368769.log的物理偏移地址，然后再通过00000000000000368769.log顺序查找直到offset=368776为止。

replication

  • 数据会存放到topic的partation中，但是有可能分区会损坏

  • 我们需要对分区的数据进行备份（备份多少取决于你对数据的重视程度）
    我们将分区的分为Leader(1)和Follower(N)
    Leader负责写入和读取数据
    Follower只负责备份
    保证了数据的一致性

  • 备份数设置为N，表示主+备=N(参考HDFS)

Leader

每个partition有多个副本，其中有且仅有一个作为Leader ， Leader是当前负责数据的读写的 partition。

  • producer 先从 zookeeper 的 “/brokers/…/state” 节点找到该 partition 的 leader
  • producer 将消息发送给该 leader
  • leader 将消息写入本地 log
  • followers 从 leader pull 消息，写入本地 log 后 leader 发送 ACK
  • leader 收到所有 ISR 中的 replica 的 ACK 后，增加 HW（high watermark，最后 commit 的 offset） 并向 producer 发送 ACK

Follower

  • Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower， Follower与Leader保持数据同步。
  • 如果Leader失效，则从Follower中选举出一个新的Leader。
  • 当Follower挂掉、卡住或者同步太慢， leader会把这个follower从“in sync replicas”（ISR）列表中 删除，重新创建一个Follower。

producer

  • 生产者即数据的发布者，该角色将消息发布到Kafka的topic中。
  • broker接收到生产者发送的消息后， broker将该消息追加到当前用于追加数据的segment文件中。 生产者发送的消息，存储到一个partition中。
  • 生产者也可以指定数据存储的partition。

consumer

  • 消费者可以从broker中读取数据。消费者可以消费多个topic中的数据。
  • kafka 提供了两套 consumer API：
  1. The high-level Consumer API
  2. The SimpleConsumer API
    high-level consumer API 提供了一个从 kafka 消费数据的高层抽象，而 SimpleConsumer API 则 需要开发人员更多地关注细节。

Consumer Group

  • 每个Consumer属于一个特定的Consumer Group （可为每个Consumer指定group name，若不 指定group name则属于默认的group）。
  • 将多个消费者集中到一起去处理某一个Topic的数据，可以更快的提高数据的消费能力
  • 整个消费者组共享一组偏移量(防止数据被重复读取)，因为一个Topic有多个分区
    在这里插入图片描述

offset偏移量

  • 可以唯一的标识一条消息
  • 偏移量决定读取数据的位置，不会有线程安全的问题，消费者通过偏移量来决定下次读取的消息
  • 消息被消费之后，并不被马上删除，这样多个业务就可以重复使用kafka的消息
  • 我们某一个业务也可以通过修改偏移量达到重新读取消息的目的,偏移量由用户控制
  • 消息最终还是会被删除的，默认生命周期为1周（7*24小时）

Zookeeper

kafka 通过 zookeeper 来存储集群的 meta 信息。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/38793.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

autok3s k3d rancher研究

autok3s k3d rancher研究

参考 功能介绍 | Rancher文档AutoK3s 是用于简化 K3s 集群管理的轻量级工具，您可以使用 AutoK3s 在任何地方运行 K3s 服务。http://docs.rancher.cn/docs/k3s/autok3s/_index 什么是 AutoK3s k3s是经过完全认证的 Kubernetes 产品，在某些情况下可以替…
阅读更多...
Docker 容器生命周期：创建、启动、暂停与停止----从创建到停止多角度分析

Docker 容器生命周期：创建、启动、暂停与停止----从创建到停止多角度分析

🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁 🦄 个人主页——libin9iOak的博客🎐 🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学！欢迎大家来踩踩~&#x1f33…
阅读更多...
vue 限制表情输入

vue 限制表情输入

在main.js中加入下列代码 import emoji from ./util/emojiVue.directive(emoji,emoji) 在util文件夹中加入emoji.js 下列代码 const findEle (parent, type) > { return parent.tagName.toLowerCase() type ? parent : parent.querySelector(type)}const emoji {bi…
阅读更多...
小程序MobX创建store并实现全局数据共享

小程序MobX创建store并实现全局数据共享

查看小程序根目录中是否存在package.json文件 在项目根目录运行cmd 没有package.json文件输入npm init -y初始化一下,初始化一个包管理 安装MobX npm install --save mobx-miniprogram4.13.2 mobx-miniprogram-bindings1.2.1 小程序菜单栏工具–构建npm 根目录创建store文…
阅读更多...
Hive概述

Hive概述

Hive 一 Hive基本概念 1 Hive简介 学习目标 - 了解什么是Hive - 了解为什么使用Hive####1.1 什么是 Hive Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询…
阅读更多...
Dcat-admin使用 Alpine 双向数据绑定

Dcat-admin使用 Alpine 双向数据绑定

介绍 Alpine.js 这东西真的轻量级，和vue相似，和 livewire 同一个作者，推荐大家使用，可以平替jquery 效果 实现 在 bootstrap.php 引入js Admin::headerJs([https://lf3-cdn-tos.bytecdntp.com/cdn/expire-1-y/alpinejs/3.9.0/…
阅读更多...
掘金量化—Python SDK文档—4.数据结构

掘金量化—Python SDK文档—4.数据结构

目录 Python SDK文档 4.数据结构 4.1数据类 Tick - Tick 对象 报价quote - (dict 类型) Bar - Bar 对象 L2Order - Level2 逐笔委托 L2Transaction - Level2 逐笔成交 4.2交易类 Account - 账户对象 Order - 委托对象 ExecRpt - 回报对象 Cash - 资金对象 Position - 持仓对象…
阅读更多...
Windows操纵kafka

Windows操纵kafka

这里写目录标题 启动kafk创建一个测试主题查看所有主题查看first详细信息修改分区数(分区数只能增加 不能减少)删除主题生产者生产数据消费命令 启动kafk 安装目录下 .\bin\windows\kafka-server-start.bat .\config\server.properties创建一个测试主题 安装目录下 .\bin\wi…
阅读更多...
从零学习微服务

从零学习微服务

更新中，关注不断更… 如果觉得需要补充哪些内容，可以在评论区留言或者私信我哦 文章目录 🌟引入🎶Feign😺Ribbon🐎Naocs🍨Gateway🍬Docker🚢RabbitMQsentinelseata &…
阅读更多...
SpringBoot + Docker 实现一次构建到处运行

SpringBoot + Docker 实现一次构建到处运行

一、容器化部署的好处 Docker 作为一种新兴的虚拟化方式，它可以更高效的利用系统资源，不需要进行硬件虚拟以及运行完整操作系统等额外开销。 传统的虚拟机技术启动应用服务往往需要数分钟，而 Docker 容器应用，由于直接运行宿主内…
阅读更多...
程序员如何制作PPT？

程序员如何制作PPT？

有道无术，术尚可求也；有术无道，止于术。大家好，我是程序员雪球，今天让我们一起探讨如何从零开始制作高质量的 PPT。 上周，领导要求我撰写一份关于 4到6月持续集成运营分析的报告，并通过 PPT 的形…
阅读更多...
【25】SCI易中期刊推荐——神经网络科学（中科院4区）

【25】SCI易中期刊推荐——神经网络科学（中科院4区）

💖💖>>>加勒比海带,QQ2479200884<<<💖💖 🍀🍀>>>【YOLO魔法搭配&论文投稿咨询】<<<🍀🍀 ✨✨>>>学习交流 | 温澜潮生 | 合作共赢 | 共同进步<<<✨✨ 📚📚>>>人工智能 | 计算机视觉…
阅读更多...
漫谈大数据时代的个人信息安全（三）——“点赞之交”

漫谈大数据时代的个人信息安全（三）——“点赞之交”

大数据时代的个人信息安全系列三&#xff1a;“点赞之交” 1. 点赞之交2. 点赞诈骗3. 个人信息保护小贴士 互联网就像公路&#xff0c;用户使用它&#xff0c;就会留下脚印。 每个人都在无时不刻的产生数据&#xff0c;在消费数据的同时&#xff0c;也在被数据消费。 近日&am…
阅读更多...
何时使用Windbg静态分析？何时使用Windbg动态调试？

何时使用Windbg静态分析？何时使用Windbg动态调试？

目录 1、概述 2、使用Windbg静态分析dump文件 2.1、异常捕获模块自动生成dump文件 2.2、从Windows任务管理器中导出dump文件 2.3、从正在动态调试的Windbg中使用命令导出dump文件 2.4、使用Windbg静态分析dump文件的一般步骤 3、使用Windbg动态调试目标进程 3.1、程序发…
阅读更多...
animation.css无法显示动画效果问题解决

animation.css无法显示动画效果问题解决

在使用【微信开发者工具】开发微信小程序时发现无法在开发者工具中展示出动画效果来 但是真机调试中可以正常的显示动画效果 【关于微信小程序中如何使用animation.css&#xff0c;参考微信小程序使用animation.css_THE WHY的博客-CSDN博客 】 同时发现在官网上点击各个动画并…
阅读更多...
oled拼接屏在柳州的户外广告中有哪些应用展现？

oled拼接屏在柳州的户外广告中有哪些应用展现？

柳州oled拼接屏是一种高端的显示屏&#xff0c;它采用了OLED技术&#xff0c;具有高亮度、高对比度、高色彩饱和度、高刷新率等优点&#xff0c;能够呈现出更加真实、清晰、细腻的图像效果。 同时&#xff0c;柳州oled拼接屏还具有拼接功能&#xff0c;可以将多个屏幕拼接在一…
阅读更多...
Http 接口测试框架

Http 接口测试框架

目录 前言&#xff1a; 实际效果 框架的下一步 最新框架图&#xff08;红色部分未完成&#xff09; 部分代码 你需要做的 前言&#xff1a; 在进行HTTP接口测试时&#xff0c;使用一个可靠的测试框架可以提高测试效率和质量。HTTP接口测试框架是一种用于自动化测试HTTP接…
阅读更多...
Appium-Python-Client 源码剖析 (一) driver 的元素查找方法

Appium-Python-Client 源码剖析 (一) driver 的元素查找方法

目录 前言 源码版本:0.9 结构图&#xff1a; mobileby.py appium 的 webdriver.py selenium 的 webdriver.py seleniumdriver appiumdriver 前言 Appium-Python-Client是一个用于Python语言的Appium客户端库&#xff0c;它提供了丰富的API和功能&#xff0c;用于编写和…
阅读更多...
FFmpeg 命令行实现居中高清上下模糊播放效果

FFmpeg 命令行实现居中高清上下模糊播放效果

FFmpeg 命令行实现居中高清上下模糊播放效果。 1、16:9 的横屏原视频&#xff0c;以 16:9 竖屏上下模糊播放 以该效果播放视频的命令如下&#xff1a; ffplay -i horizontal_test_video_169.mp4 -vf \ "split[a][b]; \ [a]crop(ih/16*9):ih,scaleiw/10:-1,gblursigma5…
阅读更多...
周考一之重做

周考一之重做

输入一个学生的成绩&#xff0c;如果学习成绩>90分的同学用A表示&#xff0c;60-89分之间用B表示&#xff0c;60分以下的用C表示(10) public static void main(String[] args){ Scanner scanner new Scanner(System.in); System.out.println(“请输入学生成绩&#xff1a;…
阅读更多...
最新文章

Copyright @ 2022~2023