kafka（六）——存储策略

存储机制

kafka通过topic作为主题缓存数据，一个topic主题可以包括多个partition，每个partition是一个有序的队列，同一个topic的不同partiton可以分配在不同的broker（kafka服务器）。

关系图

在这里插入图片描述

partition分布图

名称为t_zd的topic为3分区2副本，其在3节点kafka集群的分布如下：

在这里插入图片描述

概念

topic

主题，即消息存放的目录。

Partition

  • 一个topic可以分为多个partition；

  • 每个partition是一个有序的队列；

  • 每个partition实际对应一个文件夹，包含多个segment文件；

  • partition中的每条消息都会分配一个有序的id，即offset；

segment

  • Kafka用于存储消息的基本单元；
  • segment指partition文件夹下产生的文件；
  • segment文件命名与offset有关，为log start offset；
  • 每个分段都有一个起始偏移量和一个结束偏移量，用于定位消息的位置；
  • 一个segment对应一个日志文件（[offset].log）、时间索引文件（[offset].timeindex）和索引文件（[offset.index]），日志文件是用来记录消息，索引文件用来保存消息的索引；
  • segment的大小可以通过server.properties配置文件中log.segment.bytes来配置，默认1G；

在这里插入图片描述

索引文件(index)

  • 记录固定消息量的索引编号范围；
  • Kafka在查询时，先从Index中定位到小范围的索引编号区间，再去Log中在小范围的数据块中查询具体数据，此索引区间的查询方式称为：稀疏索引；

日志文件(log)

  • 负责消息的追加、读取和索引等操作；
  • 每条消息有自增编号，只追加不修改；

消息（message）

示例

[root@192 zd-first-topic-0]$ls
00000000000000000000.index  00000000000000000000.timeindex  partition.metadata
00000000000000000000.log    leader-epoch-checkpoint
[root@192 zd-first-topic-0]$sh bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log

Dumping 00000000000000000000.log
Log starting offset: 0
baseOffset: 0 lastOffset: 0 count: 1 baseSequence: 0 lastSequence: 0 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 0 CreateTime: 1712889750352 size: 79 magic: 2 compresscodec: none crc: 3489688351 isvalid: true
| offset: 0 CreateTime: 1712889750352 keySize: -1 valueSize: 11 sequence: 0 headerKeys: [] payload: hello kafka

baseOffset: 1 lastOffset: 1 count: 1 baseSequence: 1 lastSequence: 1 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 79 CreateTime: 1712889754967 size: 84 magic: 2 compresscodec: none crc: 2134132965 isvalid: true
| offset: 1 CreateTime: 1712889754967 keySize: -1 valueSize: 16 sequence: 1 headerKeys: [] payload: kafka first test

baseOffset: 2 lastOffset: 2 count: 1 baseSequence: 2 lastSequence: 2 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 163 CreateTime: 1712889762442 size: 85 magic: 2 compresscodec: none crc: 3019058576 isvalid: true
| offset: 2 CreateTime: 1712889762442 keySize: -1 valueSize: 17 sequence: 2 headerKeys: [] payload: kafka second test
[root@192 zd-first-topic-0]$

参数说明

  • baseOffset：当前消息起始位置的offset；
  • position：消息在日志分段文件中对应的物理地址；
  • size：消息长度；

关系图

在这里插入图片描述

副本机制

  • kafka副本机制提高了数据可靠性；
  • Kafka默认副本1个，生产环境一般配置为2个，保证数据可靠性，但性能相对降低；
  • Kafka中将副本分为Leader副本和Follower副本；
  • Kafka生产者只会把数据发往Leader副本，Follower副本找Leader副本进行数据同步；
  • Kafka分区中的所有副本统称为AR（Assigned Repllicas），AR = ISR + OSR；
    • ISR：表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader；
    • OSR：Follower与Leader副本同步时，延迟过多的副本；

producer的acks参数表示当生产者生产消息的时候，写入到副本的要求严格程度。

  • acks为0：生产者将消息发送至主副本，不等确认可继续发送下一条消息，数据可能丢失。

在这里插入图片描述

  • acks为1：生产者将消息发送至主副本，等主副本确认可继续发送下一条消息。

在这里插入图片描述

  • acks为-1或all：生产者将消息发送至主副本，等主副本和从副本同步完成后可继续发送下一条消息。

在这里插入图片描述

日志清理机制

配置参数

  • log.retention.hours: 控制日志文件保留的最长时间；
  • log.retention.bytes: 控制日志文件保留的最大大小；
  • log.retention.minutes: 控制日志文件保留的最短时间；
  • log.retention.check.interval.ms: 日志清理器检查日志是否满足清理条件的频率；
  • log.cleaner.enable: 是否启用日志清理；
  • log.cleanup.policy: 对于超过保留时间的日志文件，如何处理，默认delete。支持日志压缩（compaction）和delete+compaction；

日志删除

基于时间的删除策略

  • log.retention.hours: 控制日志文件保留的最长时间，默认168小时（7天）；
  • log.delete.delay.ms：执行延迟时间，默认1分钟；

执行日志分段的删除任务时，会首先从Log对象中维护的日志分段的跳跃表中移除需要删除的日志分段，然后将日志分段所对应的数据文件和索引文件添加.deleted后缀。最后转交给名称为delete-file任务来删除以.deleted为后缀的文件，执行延迟时间可通过参数log.delete.delay.ms控制，默认为1分钟。

基于日志大小的删除策略

  • log.retention.bytes: 控制日志文件保留的最大大小；
  • log.delete.delay.ms：执行延迟时间，默认1分钟；

该策略会依次检查每个日志中的日志分段是否超出指定的大小（log.retention.bytes），对超出指定大小的日志分段采取删除策略。

日志压缩

压缩方式

  • 通过GZIP或Snappy压缩器压缩日志段；
  • 通过删除不必要的元数据来减少日志的大小；

参数配置

# 对于segment log进行压缩
log.cleaner.enable=true
# 设置压缩后的日志保留的最长时间
log.retention.hours=168
# 设置日志清理进程的运行频率（以小时为单位）
log.cleanup.policy=compact
# 设置压缩后的日志文件保留的最大大小
log.retention.bytes=1073741824
# 设置segment文件的压缩类型
log.cleaner.io.buffer.size=524288
log.cleaner.io.max.bytes.per.second=1048576
log.cleaner.dedupe.buffer.size=134217728
log.cleaner.threads=2
log.cleaner.min.cleanable.ratio=0.5

压缩流程

  • Kafka的后台线程会定时将topic遍历两次，第一次将每个Key的哈希值最后一次出现的offset记录下来，第二次检查每个offset对应的Key是否在较为后面的日志中出现过，如果出现了就删除对应的日志；
  • 日志压缩是针对Key的，在使用时应注意每个消息的Key值不为NULL；
  • 压缩是在Kafka后台通过定时的重新打开Segment来完成的；

img

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/546869.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

互联网元搜索引擎SearXNG

互联网元搜索引擎SearXNG

最近有个很火的项目叫 FreeAskInternet，其工作原理是： 第一步、用户提出问题第二步、用 SearXNG（本地运行）在多个搜索引擎上进行搜索第三步、将搜索结果传入 LLM 生成答案 所有进程都在本地运行，适用于需要快速获取信…
阅读更多...
【深度学习】AI修图——DragGAN原理解析

【深度学习】AI修图——DragGAN原理解析

1、前言 上一篇，我们讲述了StyleGAN2。这一篇，我们就来讲一个把StyleGAN2作为基底架构的DragGAN。DragGAN的作用主要是对图片进行编辑，说厉害点，可能和AI修图差不多。这篇论文比较新，发表自2023年 原论文&#xff1a…
阅读更多...
vscode中调试C++程序，解读debug步骤

vscode中调试C++程序，解读debug步骤

下面对几个调试的按键进行解释： 按钮1：运行/继续 F5，真正的一步一步运行。当有断点的时候，只会执行断点所在行语句和开头结尾两行语句。 按钮2：单步跳过(又叫逐过程) F10，按语句单步执行。当有函数时&#…
阅读更多...
制作适用于openstack平台的win10镜像

制作适用于openstack平台的win10镜像

1. 安装准备 从MSDN下载windows 10的镜像虚拟机开启CPU虚拟化的功能。从Fedora 网站下载已签名的 VirtIO 驱动程序 ISO 。 创建15 GB 的 qcow2 镜像：qemu-img create -f qcow2 win10.qcow2 15G 安装必要的软件 yum install qemu-kvm qemu-img virt-manager libvir…
阅读更多...
【Docker系列】容器访问宿主机的Mysql

【Docker系列】容器访问宿主机的Mysql

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
Mac M1(ARM) 使用Vmware Fusion从零搭建k8s集群

Mac M1(ARM) 使用Vmware Fusion从零搭建k8s集群

该笔记仅用于自己学习；上一篇安装了环境，这一篇开始 Mac M1(ARM) 使用Vmware Fusion从零搭建k8s集群【参考】 VMware Fusion下修改vmnet8网络和添加vmnet网络 【注意如下】 虚拟机ip修改的位置修改的，记得开启宿主机的mac os 网络共享&#…
阅读更多...
有依赖的的动态规划问题

有依赖的的动态规划问题

题目 题型分析 这是比较典型的动态规划的问题。动态规划是什么呢？本质上动态规划是对递归的优化。例如，兔子数列：f(x) f(x - 1) f(x -2), 我们知道 f 代表了计算公式，这里解放思想一下，如果 f 替换为数组&#xff0…
阅读更多...
vue实现前端打印效果

vue实现前端打印效果

如图效果所示&#xff08;以下演示代码&#xff09; <template><div><el-button v-print"printObj" type"primary" plain click"handle">{{ text }}</el-button><div style"display: none"><div id…
阅读更多...
基于Springboot+Vue的Java项目-在线视频教育平台系统(附演示视频+源码+LW)

基于Springboot+Vue的Java项目-在线视频教育平台系统(附演示视频+源码+LW)

大家好&#xff01;我是程序员一帆&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;Java毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计 &am…
阅读更多...
鸿蒙OS开发指导：【应用包签名工具】

鸿蒙OS开发指导：【应用包签名工具】

编译构建 该工具基于Maven3编译构建&#xff0c;请确认环境已安装配置Maven3环境&#xff0c;并且版本正确 mvn -version下载代码&#xff0c;命令行打开文件目录至developtools_hapsigner/hapsigntool&#xff0c;执行命令进行编译打包 mvn package编译后得到二进制文件&…
阅读更多...
[开发日志系列]PDF图书在线系统20240415

[开发日志系列]PDF图书在线系统20240415

20240414 Step1: 创建基础vueelment项目框架[耗时: 1h25min(8:45-10:10)] 检查node > 升级至最新 (考虑到时间问题,没有使用npm命令行执行,而是觉得删除重新下载最新版本) > > 配置vue3框架 ​ 取名:Online PDF Book System 遇到的报错: 第一报错: npm ERR! …
阅读更多...
halcon 3.2标定相机

halcon 3.2标定相机

参考《solution_guide_iii_c_3d_vision.pdf》 3.2.2.2 Which Distortion Model to Use 选用何种畸变模型 对于面阵相机&#xff0c;halcon中两种畸变模型&#xff1a;The division model and the polynomial model&#xff08;差分模型和多项式模型&#xff09;&#xff0c;前…
阅读更多...
使用 Scrapy 爬取豆瓣电影 Top250

使用 Scrapy 爬取豆瓣电影 Top250

一、Scrapy框架 1. 介绍 在当今数字化的时代&#xff0c;数据是一种宝贵的资源&#xff0c;而网络爬虫&#xff08;Web Scraping&#xff09;则是获取网络数据的重要工具之一。而在 Python 生态系统中&#xff0c;Scrapy 框架作为一种高效、灵活的网络爬虫框架&#xff0c;为…
阅读更多...
MLOps

MLOps

参考&#xff1a; 什么是MLOps&#xff1f;与DevOps有何异同&#xff1f;有什么价值&#xff1f;https://baijiahao.baidu.com/s?id1765071998288593530&wfrspider&forpcMLOps简介_AI开发平台ModelArts_WorkflowMLOps(Machine Learning Operation)是机器学习&#xf…
阅读更多...
更优性能与性价比，从自建 ELK 迁移到 SLS 开始

更优性能与性价比，从自建 ELK 迁移到 SLS 开始

作者&#xff1a;荆磊 背景 ELK (Elasticsearch、Logstash、Kibana) 是当下开源领域主流的日志解决方案&#xff0c;在可观测场景下有比较广泛的应用。 随着数字化进程加速&#xff0c;机器数据日志增加&#xff0c;自建 ELK 在面临大规模数据、查询性能等方面有较多问题和挑…
阅读更多...
【自动驾驶】贝叶斯算法在机器学习中的应用研究

【自动驾驶】贝叶斯算法在机器学习中的应用研究

目录 第一章&#xff1a;引言 1.1 贝叶斯算法在机器学习中的重要性 1.2 研究背景 1.3 研究目的 1.4 论文结构 第二章&#xff1a;贝叶斯算法概述 2.1 贝叶斯定理 2.2 贝叶斯算法分类 第三章&#xff1a;贝叶斯算法在机器学习中的应用 3.1 贝叶斯分类器 3.2 贝叶斯回…
阅读更多...
【软考】UML中的图之用例图

【软考】UML中的图之用例图

目录 1. 说明2. 建模2.1 说明2.2 语境建模2.3 需求建模 3. 图示4. 组成部分 1. 说明 1.用例图&#xff08;Use Case Diagram&#xff09;。2.展现了一组用例、参与者&#xff08;Actor&#xff09;以及它们之间的关系。3.用例图通常包括以下的内容&#xff1a;用例、参与者、用…
阅读更多...
linux 自定义快捷指令(docker

linux 自定义快捷指令(docker

vi /root/.bashrc alias disdocker images alias dpsdocker ps --format "table {{.ID}}\t{{.Image}}\t{{.Ports}}\t{{.Status}}\t{{.Names}}" 保存退出后使用sourece /root/.bashrc 让其立即生效 sourece /root/.bashrc
阅读更多...
python 判断变量是数字型还是字符型

python 判断变量是数字型还是字符型

python如何判断数据类型&#xff1f;方法如下&#xff1a; 使用type()函数&#xff1a; import types type(x) is types.IntType # 判断是否int 类型 type(x) is types.StringType #是否string类型可以不用记住types.StringType&#xff0c;即&#xff1a; import types type(…
阅读更多...
Adobe Premiere 2015 下载地址及安装教程

Adobe Premiere 2015 下载地址及安装教程

Premiere是一款专业的视频编辑软件&#xff0c;由Adobe Systems开发。它为用户提供了丰富的视频编辑工具和创意效果&#xff0c;可用于电影、电视节目、广告和其他多媒体项目的制作。 Premiere具有直观的用户界面和强大的功能&#xff0c;使得编辑和处理视频变得简单而高效。它…
阅读更多...
最新文章

Copyright @ 2022~2023