kafka(一)快速入门

一、kafka(一)是什么?

        kafka是一个分布式、支持分区、多副本,基于zookeeper协调的分布式消息系统;

二、应用场景

        日志收集:一个公司可以用Kafka收集各种服务的log,通过kafka推送到各种存储系统;


        消息系统:解耦和生产者和消费者、缓存消息等。

        数据收集:将数据推送到kafka中,订阅者消费处理分析;

三、kafka的基本概念

        Broker:消息中间处理节点;

        Topic:kafka根据topic对详细进行归类,发布到kafka的每一条消息都要指定topic;

        Producer:生产者,向Broker推送消息的客户端;

        Consumer:消费者,从Broker读取消息的客户端;

        ConsumerGroup:每个Consumer属于一个特定的Consumer Group,一条消息可以被多个不同的Consumer Group消费,但是一个Consumer Group中只能有一个Consumer消费;

        Partition:物理概念,一个投pic可分为多个partition,每个partition内部消息是有序的;

        

kafka所有消息存储在文件上,消费完不会删除;(默认保持一周)

四、消费类型

        普通消费:消费最新消息

        消费多主题消息:同一个消费者可以监听多个topic进行消费;

        单播消费:一条消息在一组消费者中只能有一个消费者消费;

        多播消息:消费者指定不同的消费组,每个消费组下的消费者都可以消费同一消息;

kafka是如何做到单播消费与多播消费的?

kafka的消费是以组为单位,组内只有一个消费者可以消费成功,组内会记录消费消息的偏移量与未消费数量;

五、副本

       一个topic可以指定多个分区,每个分区可以指定对个副本;

六、消费顺序

        一个partition同一时刻在一个Consumer group中只能有一个consumer 在消费,从而保证顺序;consumer group中的consumer 数量不能比一个topic中的partition数量多,否则多出来的消费不到消息;


       

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/343570.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

php基础学习之整型进制

不同进制的整型数据定义 在 PHP中提供了四种整型的定义方式:十进制定义,二进制定义,八进制定义和十六进制。 定义格式如下: 十进制是最基础的:$a 110;二进制需要在值前面加上0b:$a 0B1101110;&#xf…

Java线程池,看这一篇足够

目录一览 Java线程池1. Executors提供6个线程池快捷创建方式2. ThreadPoolExecutor的7大参数3. 自定义线程池 Java线程池 上一篇《Async注解的注意事项》说到Async注解要配合自定义线程池一起使用,这一节说下Java的线程池。 1. Executors提供6个线程池快捷创建方式…

第八篇 交叉编译华为云Iot SDK到Orangepi3B

本篇主要内容: 一、交叉编译华为云Iot SDK依赖1.宿主机安装交叉编译工具链(1)选择下载交叉编译工具链(2)解压、添加环境变量、重启2.交叉编译依赖库(0) 准备工作(1) 交叉…

MySQL>基础sql语句

阅读目录 1.进入数据库2.数据库操作(增删改查用)3.表操作(增删改查)4.语句操作(增删改查) 回到顶部 1.进入数据库 打开终端,输入: /usr/local/mysql/bin/mysql -uroot -p回车 输入密码: 回到顶部 2.数据库操作(增…

RabbitMQ环境配置

文章目录 安装Erlang安装RabbitMQ 安装Erlang 下载地址:http://erlang.org/download/otp_win64_25.3.2.7.exe 安装RabbitMQ 下载地址:https://www.rabbitmq.com/install-windows.html 进入RabbitMQ安装目录下的sbin目录 输入以下命令启动管理功能 …

Java 设计者模式以及与Spring关系(七) 命令和迭代器模式

简介: 本文是个系列一次会出两个设计者模式作用,如果有关联就三个,除此外还会讲解在spring中作用。 23设计者模式以及重点模式 我们都知道设计者模式有3类23种设计模式,标红是特别重要的设计者模式建议都会,而且熟读于心&#…

Django开发_17_表单类

一、介绍 为了简化前端form表单代码 二、步骤 (一)创建form.py 创建一个表单类 from django import formsclass RegisterForm(forms.Form):reg_name forms.CharField(max_length10, label用户名)reg_pwd forms.CharField(max_length20, label密码…

python Seq2Seq模型源码实战,超详细Encoder-Decoder模型解析实战;早期机器翻译模型源码demo

1.Seq2Seq(Encoder-Decoder)模型简介 Seq2Seq(Encoder-Decoder)模型是一种常用于序列到序列(sequence-to-sequence)任务的深度学习模型。它由两个主要的组件组成:编码器(Encoder&am…

顶顶通呼叫中心中间件机器人压力测试配置(mod_cti基于FreeSWITCH)

介绍 顶顶通呼叫中心中间件机器人压力测试(mod_cit基于FreeSWITCH) 一、配置acl.conf 打开ccadmin-》点击配置文件-》点击acl.conf-》我这里是已经配置好了的,这里的192.168.31.145是我自己的内网IP,你们还需要自行修改 二、配置线路 打开ccadmin-&g…

社区分享|百果园选择DataEase搭档蜜蜂微搭实现企业数据应用一体化

百果园,全称为深圳百果园实业(集团)股份有限公司,2001年12月成立于深圳,2002年开出中国第一家水果专卖店。截至2022年11月,百果园全国门店数量超过5600家,遍布全国140多个城市,消费会…

实现单链表的增删改查

实现单链表的增删改查的功能:头部插入删除/尾部插入删除,查找,在指定位置之前插入数据,删除pos节点,在指定位置之后插入数据,删除pos之后的节点,销毁链表。 SListNode.h #pragma once #includ…

工程化代码管理高频面试题

1. git常用命令以及工作中都怎么工作 git init 初始化仓库 ​ git status 查看当前各个区域的代码状态。 ​ git log查看commit记录 ​ git reflog查看完整记录 ​ git add 添加工作区代码到暂存区 ​ Git commit 暂存区代码的提交 ​ git reset 代码的版本回退 ​ git stash …

Python中的open与JSON的使用

目录 1 使用 open 函数进行文件操作 2 使用 json 模块进行 JSON 数据处理: 2.1 写入JSON 文件 2.2 读取JSON 文件 在 Python 中,open 函数和 json 模块常用于文件的读写和 JSON 数据的处理。 1 使用 open 函数进行文件操作 open 函数用于打开文件…

docker安装Rabbitmq教程(详细图文)

目录 1.下载Rabbitmq的镜像 2.创建并运行rabbitmq容器 3.启动web客户端 4.访问rabbitmq的微博客户端 5.遇到的问题 问题描述:在rabbitmq的web客户端发现界面会弹出如下提示框Stats in management UI are disabled on this node 解决方法 (1&#…

【JAVA语言-第14话】集合框架(一)——Collection集合,迭代器,增强for,泛型

目录 集合框架 1.1 概述 1.2 集合和数组的区别 1.3 Collection集合 1.3.1 概述 1.3.2 常用方法 1.4 迭代器 1.4.1 概述 1.4.2 常用方法 1.4.3 使用步骤 1.5 增强for循环 1.5.1 概述 1.5.2 使用 1.6 泛型 1.6.1 概述 1.6.2 使用泛型的利弊 1.6.2.1 好处 1…

06章【Eclipse与异常处理】

Eclipse开发环境使用入门 Eclipse开发环境使用入门 下载安装配置环境Eclipse入门 异常处理 异常 异常是阻止当前方法或作用域继续执行的问题,在程序中导致程序中断运行的一些指令 try与catch关键字 在程序中出现异常,就必须进行处理,处理格…

vue的模板语法-指令-事件绑定-条件渲染

VSCode代码片段生成 我们在前面练习Vue的过程中,有些代码片段是需要经常写的,我们再VSCode中我们可以生成一个代码片段,方便我们快速生成。 VSCode中的代码片段有固定的格式,所以我们一般会借助于一个在线工具来完成。 具体的步…

Shell脚本 2

一、变量 变量来源于数学,是计算机语言中能储存计算结果或能表示值的抽象概念。 保存将来会变化的数据,即使数据变化,直接调用变量即可,各种 Shell 环境中都使用到了“变量”的概念。Shell 变量用来存放系统和用户需要使用的特定…

基于JavaSwing+百度OCR开发的题库管理系统源码+数据库,能够将图片中的文字提取出来,保存题库中

题库管理系统 介绍 具备上传本地图片及截屏功能,并利用百度OCR技术,能够将图片中的文字提取出来,保存题库中,供以后查找。 技术方面,为制作exe可执行文件,该软件将JavaSwing,MybatisPlus,Spring三者进行集…

使用Python合并PPT文件

在日常工作和学习中,我们经常需要处理和管理大量的PPT文件。如果需要将多个PPT文件合并成一个文件,手动操作可能会非常繁琐和耗时。今天,我们将介绍如何使用Python编程语言和wxPython模块创建一个简单的GUI应用程序,来自动合并指定…