2023.12.17 天气晴 温度较低
- 十点半,不是不想起实在是阳光浴太nice了
- 日常三连,喂,刷,肝
- 刷会儿博客,看会儿设计模式
- 冷冷冷 进被窝 刷视频 睡觉
- 看看kafka的本地部署 》》实践》》成功
- 写会儿博客,45俯卧撑,洗洗睡了,明天上班
一、 kafka简介
Kafka 是一个分布式的流处理平台,由 LinkedIn 公司开发。它是一种高吞吐量、低延迟的消息传递系统,主要用于处理实时数据流和日志数据。Kafka 是一个基于发布-订阅(publish-subscribe)的模型,通过将消息存储在不同的 topic(主题)中,允许多个消费者并行地消费数据。
主要特点包括:
高性能:Kafka 能够处理数百万条消息的每秒读写速度,同时保证数据的持久化存储和高可靠性。
可扩展性:Kafka 是一个分布式系统,可以方便地扩展到数以千计的节点,以满足业务需求的快速增长。
容错性:Kafka 能够自动进行数据备份和故障转移,保证数据的不丢失和可用性。
多语言支持:Kafka 有多种编程语言的客户端库,支持多种编程语言的开发人员进行开发和集成。
灵活性:Kafka 提供了多种配置选项,用户可以根据自己的需求进行灵活配置。
二、本地部署(Windows x64)
2.1 安装包下载/官网下载
链接:https://pan.baidu.com/s/1Ic2DQ1hdt3DKiQh9mN27Og
提取码:hunb
2.2 解压,我这里解压到D盘SoftWare文件夹下
2.3 启用zookeeper(简单使用自带的即可)
2.3.1 命令窗口1,输入cmd 回车 从当前路径进入命令页,输入以下命令 回车,如图启动成功
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
2.4 启动kafka(依赖zookeeper,必须先启动成功)
命令窗口2,跟命令窗口1的打开方式相同,找到层目录输入cmd即可,输入以下命令,回车,如下图启动成功
.\bin\windows\kafka-server-start.bat .\config\server.properties
三、测试kafka(前两个命令页面不可以关闭,需要保持服务开启)
3.1 命令页面3
创建名为“topic_test001”的主题,命令页面的打开方式与之前相同,输入命令,回车,等待下出现如下标识,代表创建成功
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test001
----------------------------------------创建主题命令详解---------------------------------------------------------
.\bin\windows\kafka-topics.bat
:这是执行 Kafka 主题管理工具的命令。
--create
:这是一个选项,表示要创建一个新的主题。
--zookeeper localhost:2181
:这是指定 ZooKeeper 的地址和端口,用于管理 Kafka 集群的元数据信息。
--replication-factor 1
:这是指定每个分区的副本数量。在这里,指定为 1,表示每个分区只有一个副本。
--partitions 1
:这是指定主题的分区数量。在这里,指定为 1,表示只创建一个分区。
--topic topic_test001
:这是指定要创建的主题的名称。
先创建生产者来生产测试消息,在命令3页面紧接着输入以下命令回车,等待下出现“>"标识说明后面的输入内容都是作为消息内容
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic_test001
--------------------------------------------发送消息命令详解----------------------------------------------------
.\bin\windows\kafka-console-producer.bat
:这是执行 Kafka 控制台生产者的命令。
--broker-list localhost:9092
:这是指定 Kafka broker 的地址和端口,用于连接到 Kafka 集群。
--topic topic_test001
:这是指定要发送消息的主题名称
3.2 命令页面4
创建一个消费者来接收生产消息,命令页面打开方式与之前一样,输入以下命令,如图成功接收到生产消息
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic_test001 --from-beginning
-----------------------------------------消费消息命令详解--------------------------------------------------
.\bin\windows\kafka-console-consumer.bat
:这是执行 Kafka 控制台消费者的命令。
--bootstrap-server localhost:9092
:这是指定 Kafka broker 的地址和端口,用于连接到 Kafka 集群。
--topic topic_test001
:这是指定要消费的主题名称。在这里,主题名称为topic_test001
。
--from-beginning
:这是一个选项,表示从主题的开始位置开始消费消息,如果不指定该选项,则只会消费接收到该命令之后发出的消息。
好了,文章到这里就结束了,下周见