kafka 生产者

生产者

生产者负责创建消息,然后将其投递到Kafka中。
在这里插入图片描述

负载均衡

  1. 轮询策略。
  2. 随机策略。
  3. 按照 key 进行hash。

Kafka 的默认分区策略:如果指定了 key,key 相同的消息会发送到同一个分区(分区有序);如果没有指定 key,则使用轮询策略。

发送消息

acks指定了生产者在多少个分区副本收到消息的情况下才会认为消息写入成功。

三种方式并没有优劣之分,而是要因地制宜的选择合适的策略。需要在性能和可靠性之间权衡。

发送消息有以下3种方式:

发送并忘记。

acks = 0。
生产者发送消息之后不会等待任何来自broker的响应。大多数情况下,消息可以成功送达,因为Kafka是高可用的,而且生产者有自动尝试重发的机制。但是,如果发生了不可重试的错误或超时,那么消息将会丢失,应用程序将不会收到任何信息或异常。
在其他配置环境相同的情况下,acks 设置为0 可以达到最大的吞吐量。

异步发送

acks=1,默认值。
生产者发送消息之后,只要分区的leader副本成功写入消息,那么它就会收到来自服务端的成功响应。

  • 如果消息无法写入leader副本,比如在leader 副本崩溃、重新选举新的 leader 副本的过程中,那么生产者就会收到一个错误的响应,为了避免消息丢失,生产者可以选择重发消息。
  • 如果消息写入leader副本并返回成功响应给生产者,且在被其他follower副本拉取之前leader副本崩溃,那么此时消息还是会丢失,因为新选举的leader副本中并没有这条对应的消息。
    acks设置为1,是消息可靠性和吞吐量之间的折中方案。
同步发送

acks = -1 或 acks = all。
生产者在消息发送之后,需要等待ISR中的所有副本都成功写入消息之后才能够收到来自服务端的成功响应。
在其他配置环境相同的情况下,acks 设置为-1(all)可以达到最强的可靠性。但这并不意味着消息就一定可靠,因为ISR中可能只有leader副本,这样就退化成了acks=1的情况。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/783894.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

RK3588 linux RGA初探

概述 RGA (Raster Graphic Acceleration Unit)是一个独立的2D硬件加速器,可用于加速点/线绘制,执行图像缩放、旋转、bitBlt、alpha混合等常见的2D图形操作。 本文基于以下版本编写: commit fb5f019ea0191ec1c34f49ac8be447ac8921aadd (HEAD -> main,…

微信平台上的AI绘画赚钱秘籍:十大创意服务让你轻松盈利(附教程)

在数字化浪潮中,AI绘画技术以其独特的魅力,为艺术创作带来了无限可能。微信,作为国内最大的社交平台之一,也为众多创业者提供了全新的赚钱机会。 一、定制专属头像,个性尽显无疑 在微信社交中,头像是展示…

【Linux】线程池|单例模式|STL、智能指针线程安全|读者写者问题

> 作者:დ旧言~ > 座右铭:松树千年终是朽,槿花一日自为荣。 > 目标:理解【Linux】线程池|单例模式|STL、智能指针线程安全|读者写者问题。 > 毒鸡汤:有些事情,总是不明白,所以我不会…

数学系C++(六七)

目录 * &指针与地址 void指针 指针可以等于: const 指向常量的指针 const int *px 常指针 int * const px 指向常量的常指针const 类型标识符 * const 指针名 指针加减: 指针恒等式 函数指针【待续】 指针型函数: 指向函数的…

01day C++初入学习

这里写目录标题 1.C区别于C的输入输出2.什么是命名空间3. namespace的定义namespace的使用(1)namespace嵌套使用(2)多⽂件中可以定义同名namespace(3) 4.命名空间的使用5.C输⼊&输出6.缺省参数7.函数重载8.引用8.1引用的特性8.3引用的使用 1.C区别于C的输入输出 #include&…

拉格朗日乘子法

拉格朗日乘子法 flyfish 拉格朗日乘子法是一种用于求解带约束优化问题的强有力工具。它通过引入新的变量(拉格朗日乘子),将带约束的优化问题转换为无约束的优化问题,从而简化问题的求解过程。 假设我们有一个优化问题&#xff…

数据结构--二叉树相关例题4

运用到malloc函数,因为之前忘记它的使用方法,因此附加一个 动态内存管理(前面内容中有讲解过)的知识点 1.二叉树遍历 //二叉树遍历 //属于IO类型题有输入有输出//因为输入包括1行字符串,长度不超过100,所以…

复合机器人:手脚眼脑的完美结合

在现代工业制造的舞台上,复合机器人如同一位精密而高效的工匠,以其独特的手脚眼脑,正深刻改变着传统的生产方式。这些机器人不仅仅是机械臂的简单延伸,它们汇聚了先进的机械结构、智能的感知系统、精密的控制技术和灵活的思维能力…

VBA-计时器的数据进行整理

对计时器的数据进行整理 需求原始数据程序步骤VBA程序结果 需求 需要在txt文件中提取出分和秒分别在两列 原始数据 数据结构 计次7 00:01.855 计次6 00:09.028 计次5 00:08.586 计次4 00:08.865 计次3 00:07.371 计次2 00:06.192 计次1 00:05.949 程序步骤 1、利用Trim()去…

# Redis 入门到精通(一)数据类型(1)

Redis 入门到精通(一)数据类型(1) 一 、Redis 入门到精通 基本介绍 1、Redis 基础 ( windows 环境 ) redis 入门数据类型通用命令Jedis 2、Redis 高级 ( linux 环境 ) 持久化redis.conf 配置事务集群 3、Redis 应用 ( linux…

浏览器控制台打印日志的方法汇总

目录 console.table用法 打印数组 打印对象 打印数组对象 打印数组对象里的指定字段 console.count用法 不传参打印 传参打印 console.warn用法 打印文本 打印对象 console.error用法 打印文本 打印对象 console.assert用法 打印文本 打印对象 consol…

HCIA综合实验

学习新思想,争做新青年。今天学习的是HCIA综合实验! 实验拓扑 实验需求 总部: 1、除了SW8 SW9是三层交换机,其他交换机均为2层交换机。 2、GW为总部的出口设备,使用单臂路由技术,VLAN10,20,100的网关都在GW…

写一个函数,返回参数二进制中 1 的个数

代码要求 输入一个整数n,输出该数32位二进制中为1的个数(包括最高位的符号位),其中负数用补码表示 如:输入:15 (15的二进制表示:0000 1111) 输出:4 代码实…

生成式人工智能:开发者的得力助手还是职业威胁?

在过去的几年里,生成式人工智能(AIGC)在软件开发领域引发了广泛关注。AI工具在代码生成、错误检测、自动化测试等方面的应用,正在迅速改变开发者的工作方式。AI究竟是在帮助开发者提高效率,还是在逐渐取代他们&#xf…

开个技术外挂|用技术轻松实现GPU显卡冷却风扇噪声控制

GPU显卡冷却风扇噪声分析 游戏玩家可能有这样的体验:当显卡卖力工作的时候,明显感觉到从机箱传来的噪声变大了。这是因为系统监测到芯片有过热风险,从而自动提升了冷却风扇的转速。 如下图所示,当GPU显卡处于 20C 时,风…

文心一言 VS 讯飞星火 VS chatgpt (298)-- 算法导论22.1 2题

二、给定一棵有 7 个结点的完全二叉树的邻接链表,请给出等价的邻接矩阵表示。这里假设结点的编号为从 1~7 。如果要写代码,请用go语言。 文心一言: 在Go语言中,表示一棵完全二叉树的邻接矩阵首先需要理解完全二叉树的性质&#…

Python 处理Excel 文件, openpyxl 库的使用:

下载&#xff1a; pip install openpyxl 基本使用&#xff1a; 新建一个Excel 工作簿&#xff1a; 使用openpyxl 需要先导入一个Workbook 类&#xff0c; 使用它可以创建一个Workbook<工作簿>对象&#xff0c; 也就是创建一个Excel表文件&#xff0c; web.active 可用来…

数据结构——二叉树之c语言实现堆与堆排序

目录 前言&#xff1a; 1.二叉树的概念及结构 1.1 特殊的二叉树 1.2 二叉树的存储结构 1.顺序存储 2.链式存储 2. 二叉树的顺序结构及实现 2.1 堆的概念 ​编辑 2.2 堆的创建 3.堆的实现 3.1 堆的初始化和销毁 初始化&#xff1a; 销毁&#xff1a; 插入&…

C-10 凸包

凸包 数学定义 平面的一个子集S被称为是凸的&#xff0c;当且仅当对于任意两点A&#xff0c;B属于S&#xff0c;线段PS都完全属于S过于基础就不详细介绍了 凸包的计算 github上找到了别人的代码&#xff0c;用4种方式实现了凸包的计算&#xff0c;把他放在这里链接地址htt…

LibreOffice的国内镜像安装地址和node.js国内快速下载网站

文章目录 1、LibreOffice1.1、LibreOffice在application-conf.yml中的配置2、node.js 1、LibreOffice 国内镜像包网址&#xff1a;https://mirrors.cloud.tencent.com/libreoffice/libreoffice/ 1.1、LibreOffice在application-conf.yml中的配置 jodconverter:local:enable…