Windows下安装Kafka（图文记录详细步骤）

Windows下安装Kafka

  • Kafka简介
  • 一、Kafka安装前提
    • 安装Kafka之前，需要安装JDK、Zookeeper、Scala。
    • 1.1、JDK安装（version：1.8）
      • 1.1.1、JDK官网下载
      • 1.1.2、JDK网盘下载
      • 1.1.3、JDK安装
    • 1.2、Zookeeper安装
      • 1.2.1、Zookeeper官网下载
      • 1.2.2、Zookeeper网盘下载
      • 1.2.3、Zookeeper安装
    • 1.3、Scala安装（version：2.12）
      • 1.3.1、Scala官网下载
      • 1.3.2、Scala网盘下载
      • 1.3.3、Scala安装
  • 二、Kafka安装（version：2.12-3.5.1）
    • 2.1、Kafka官网下载
    • 2.2、Kafka网盘下载
    • 2.3、Kafka安装
      • 2.3.1、解压Kafka安装包到安装目录
      • 2.3.2、Kafka安装目录下新建目录logs
      • 2.3.3、修改Kafka配置文件 server.properties
        • 2.3.3.1、修改 log.dirs 参数
        • 2.3.3.2、修改 listeners 参数
    • 2.4、Kafka启动
      • 2.4.1、先启动Zookeeper服务
      • 2.4.2、再启动Kafka服务
    • 2.4、Kafka相关操作（Kafka新版本命令）
      • 2.4.1、创建topics
      • 2.4.2、查看topics
      • 2.4.3、打开一个producer（生产者）
      • 2.4.4、打开一个consumer（消费者）
      • 2.4.5、测试发送和接受消息
        • 2.4.5.1、producer（生产者）发送消息
        • 2.4.5.2、consumer（消费者）接收消息
      • 2.4.5、收不到消息，常见情况

Kafka简介

(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
(二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。
(三)、Kafka 是一种高吞吐量 的分布式发布订阅消息系统，有如下特性：

  • 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
  • 支持通过Kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。

一、Kafka安装前提

安装Kafka之前，需要安装JDK、Zookeeper、Scala。

Kafka依赖Zookeeper，在安装Kafka之前，需要安装、运行Zookeeper
本次安装版本选择：
JDK：1.8
Zookeeper：3.6.4
Scala：2.12
Kafka：3.5.1

1.1、JDK安装（version：1.8）

1.1.1、JDK官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.1.2、JDK网盘下载

或者网盘下载：https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.1.3、JDK安装

安装方法就不赘述了。

1.2、Zookeeper安装

1.2.1、Zookeeper官网下载

官网下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.2.2、Zookeeper网盘下载

或者网盘下载：https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.2.3、Zookeeper安装

安装方法就不赘述了。
参考博文：Windows下安装Zookeeper（图文记录详细步骤，手把手包安装成功）

1.3、Scala安装（version：2.12）

1.3.1、Scala官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.3.2、Scala网盘下载

或者网盘下载：https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.3.3、Scala安装

安装方法就不赘述了。
可参考博文：Windows下安装Scala（以Scala 2.11.12为例）

二、Kafka安装（version：2.12-3.5.1）

version：2.12-3.5.1，表示Scala版本是2.12，Kafka版本是基于此的3.5.1版本。

2.1、Kafka官网下载

官网下载地址：https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz

2.2、Kafka网盘下载

网盘下载地址：https://pan.baidu.com/s/1Av4ZwQPUaAntwVxz79Ne9w?pwd=yyds

2.3、Kafka安装

2.3.1、解压Kafka安装包到安装目录

这里解压到：D:\bigdata\kafka\2.12-3.5.1

2.3.2、Kafka安装目录下新建目录logs

在这里插入图片描述

2.3.3、修改Kafka配置文件 server.properties

文件路径：D:\bigdata\kafka\2.12-3.5.1\config\server.properties

2.3.3.1、修改 log.dirs 参数

修改 log.dirs 参数值，修改成上一步新建的logs文件夹。注意文件夹路径中是双左斜杠

log.dirs=D:\\bigdata\\kafka\\2.12-3.5.1\\logs

在这里插入图片描述

2.3.3.2、修改 listeners 参数

修改 listeners 参数值，修改成上一步新建的logs文件夹。

listeners=PLAINTEXT://localhost:9092

在这里插入图片描述

2.4、Kafka启动

由于Kafka依赖于Zookeeper，所以要先启动Zookeeper，再启动Kafka。

2.4.1、先启动Zookeeper服务

管理员权限打开命令窗口，输入命令zkServer，启动Zookeeper服务：

zkServer

在这里插入图片描述
显示如下信息，则表示Zookeeper服务正常运行：
在这里插入图片描述

2.4.2、再启动Kafka服务

管理员权限打开命令窗口，进入到Kafka安装目录（D:\bigdata\kafka\2.12-3.5.1）。
输入如下命令启动Kafka服务：

.\bin\windows\kafka-server-start.bat .\config\server.properties

在这里插入图片描述
显示如下信息，则表示Kafka服务正常运行：
在这里插入图片描述

2.4、Kafka相关操作（Kafka新版本命令）

Kafka2.2之后版本中使用–zookeeper hadoop01:2181会出现报错情况，2.2之后的版本使用了–bootstrap-server hadoop01:9092来替换–zookeeper hadoop01:2181

2.4.1、创建topics

以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，执行以下命令，创建topics：

kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

在这里插入图片描述

2.4.2、查看topics

查看topics列表：

bin/kafka-topics.sh --bootstrap-server kafkahost:9092 --list

在这里插入图片描述

2.4.3、打开一个producer（生产者）

以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，
在这里插入图片描述
执行以下命令，打开一个producer（生产者）：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

在这里插入图片描述

2.4.4、打开一个consumer（消费者）

以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，执行以下命令，打开一个consumer（消费者）：

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

在这里插入图片描述

2.4.5、测试发送和接受消息

以上打开的窗口不要关闭，然后就可以在producer（生产者）控制台窗口输入消息并回车。在消息输入过后，很快consumer（消费者）窗口就会显示出producer（生产者）发送的消息。

2.4.5.1、producer（生产者）发送消息

在producer（生产者）控制台窗口输入消息：
在这里插入图片描述

2.4.5.2、consumer（消费者）接收消息

在consumer（消费者）控制台窗口查看消息：
在这里插入图片描述
我们发现，producer（生产者）发送的消息被consumer（消费者）接受到了。
这里乱码是字符集的问题。

2.4.5、收不到消息，常见情况

  1. 在consumer没有打开之前，就在producer里面发送了消息
  2. producer和consumer使用的topic不一致

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/62866.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

FPGA纯verilog实现 LZMA 数据压缩，提供工程源码和技术支持

FPGA纯verilog实现 LZMA 数据压缩，提供工程源码和技术支持

目录 1、前言2、我这儿已有的FPGA压缩算法方案3、FPGA LZMA数据压缩功能和性能4、FPGA LZMA 数据压缩设计方案输入输出接口描述数据处理流程LZ检索器数据同步LZMA 压缩器 为输出LZMA压缩流添加文件头 5、vivado仿真6、福利：工程代码的获取 1、前言 说到FPGA的应用&…
阅读更多...
计算机二级Python基本操作题-序号45

计算机二级Python基本操作题-序号45

1. 键盘输入一组水果名称并以空格分隔，共一行。 示例格式如下： 苹果 芒果 草莓 芒果 苹果 草莓 芒果 香蕉 芒果 草莓 统计各类型的数量，从数量多到少的顺序输出类型及对应数量，以英文冒号分隔，每个类型行。输出结果保存…
阅读更多...
学生管理系统（升级版）

学生管理系统（升级版）

import java.util.ArrayList; import java.util.Random; import java.util.Scanner;public class Demo_学生管理系统 {public static void main(String[] args) {ArrayList<User> list new ArrayList<>();Scanner sc new Scanner(System.in);while (true) {Syste…
阅读更多...
Hive创建外部表详细步骤

Hive创建外部表详细步骤

① 在hive中执行HDFS命令&#xff1a;创建/data目录 hive命令终端输入&#xff1a; hive> dfs -mkdir -p /data; 或者在linux命令终端输入&#xff1a; hdfs dfs -mkdir -p /data; ② 在hive中执行HDFS命令&#xff1a;上传/emp.txt至HDFS的data目录下&#xff0c;并命名为…
阅读更多...
励志长篇小说《周兴和》书连载之八 处心积虑揽工程

励志长篇小说《周兴和》书连载之八 处心积虑揽工程

处心积虑揽工程 如何去揽工程&#xff0c;周兴和其实早就谋划好了。 那一天&#xff0c;周兴和与爱人王琼华的姐夫严忠伦、大舅子王安全提了10来只大公鸡&#xff0c;背着两只狗腿&#xff0c;以及城里人喜欢的干豇豆等山区土特产&#xff0c;坐车来到省城成都。下了车&#x…
阅读更多...
zookeeper --- 基础篇

zookeeper --- 基础篇

一、zookeeper简介 1.1、什么是zookeeper zookeeper官网&#xff1a;https://zookeeper.apache.org/ 大数据生态系统里的很多组件的命名都是某种动物或者昆虫&#xff0c;他是用来管 Hadoop&#xff08;大象&#xff09;、Hive(蜜蜂)、Pig(小 猪)的管理员。顾名思义就是管理…
阅读更多...
侧边栏的打开与收起

侧边栏的打开与收起

侧边栏的打开与收起 <template><div class"box"><div class"sideBar" :class"showBox ? : controller-box-hide"><div class"showBnt" click"showBox!showBox"><i class"el-icon-arrow-r…
阅读更多...
『PostgreSQL』在 PostgreSQL中创建只读权限和读写权限的账号

『PostgreSQL』在 PostgreSQL中创建只读权限和读写权限的账号

&#x1f4e3;读完这篇文章里你能收获到 理解在 PostgreSQL 数据库中创建账号的重要性以及如何进行账号管理掌握在 PostgreSQL 中创建具有只读权限和读写权限的账号的步骤和方法学会使用 SQL 命令来创建账号、为账号分配适当的权限以及控制账号对数据库的访问级别了解如何确保…
阅读更多...
css position: sticky；实现上下粘性布局，中间区域滚动

css position: sticky；实现上下粘性布局，中间区域滚动

sticky主要解决的问题 1、使用absolute和fixed中间区域需要定义高度2、使用absolute和fixed底部需要写padding-bottom 避免列表被遮挡住一部分&#xff08;底部是浮窗的时候&#xff0c;需要动态的现实隐藏&#xff09; <!DOCTYPE html> <html lang"en"&…
阅读更多...
初学者自学python哪本书好,python教程自学全套

初学者自学python哪本书好,python教程自学全套

大家好&#xff0c;小编来为大家解答以下问题&#xff0c;python怎么自学,可以达到什么程度&#xff0c;初学者自学python哪本书好&#xff0c;现在让我们一起来看看吧&#xff01; 前言 Python是一个非常适合自学&#xff0c;0基础的话从入门到精通也只需要花3-4个月PYTHON库“…
阅读更多...
Arch Linux 使用桥接模式上网

Arch Linux 使用桥接模式上网

如果我们想要将虚拟机与物理主机同一网段&#xff0c;并且像物理机器一样被其他设备访问&#xff0c;则需要以桥接模式上网&#xff0c;这个时候&#xff0c;物理主机就必须配置为使用网桥上网了。 注意&#xff1a;这里我们使用了 NetworkManager 网络管理工具中的 nmcli 来进…
阅读更多...
虚拟机重启网络服务失败 Failed to start LSB:Bring up/down networking.

虚拟机重启网络服务失败 Failed to start LSB:Bring up/down networking.

许久没有打开虚拟机了&#xff0c;今天一开打发现无法ping通网络 使用 ip addr 也获取不到ip信息 重启网络服务提示我 使用 systemctl status network.service 命令查看 出现以下报错 百度各种解决方案无效&#xff0c;才发现我为了加快电脑开机速度&#xff0c;把虚拟机的一些…
阅读更多...
【源码分析】Nacos服务端如何更新以及保存注册表信息？

【源码分析】Nacos服务端如何更新以及保存注册表信息？

文章目录 我们知道服务注册到Nacos之后&#xff0c;Nacos是需要对这些服务实例信息进行保存的&#xff0c;那么Nacos是如何保存的呢&#xff1f; 首先我们先分析Nacos的注册表的结构。 我们知道Nacos有namespace&#xff0c;group&#xff0c;cluster三个分级&#xff0c;他们都…
阅读更多...
Llama 2 with langchain项目详解（一）

Llama 2 with langchain项目详解（一）

Llama 2 with langchain项目详解（一） 2023年2月25日，美国Meta公司发布了Llama 1开源大模型。随后，于2023年7月18日，Meta公司发布了Llama 2开源大模型，该系列包括了70亿、130亿和700亿等不同参数规模的模型。相较于Llama 1，Llama 2的训练数据增加了40%，上下文长度提升至…
阅读更多...
uniapp 返回上一页并刷新

uniapp 返回上一页并刷新

如要刷新的是mine页面 在/pages/mine/improveInfo页面修改信息&#xff0c;点击保存后跳转到个人中心&#xff08;/pages/mine/index&#xff09;页面并刷新更新数据 点击保存按钮时执行以下代码&#xff1a; wx.switchTab({url: /pages/mine/index }) // 页面重载 let pages …
阅读更多...
出现Error: Cannot find module ‘compression-webpack-plugin‘错误

出现Error: Cannot find module ‘compression-webpack-plugin‘错误

错误&#xff1a; 解决&#xff1a;npm install --save-dev compression-webpack-plugin1.1.12 版本问题
阅读更多...
powerdesigner各种字体设置；preview字体设置；sql字体设置

powerdesigner各种字体设置；preview字体设置；sql字体设置

1.设置左侧菜单&#xff1a; 步骤如下&#xff1a; tools —> general options —> fonts —> defalut UI font ,选择字体样式及大小即可&#xff0c;同下图。 2.设置preview字体大小&#xff08;sql预览&#xff09; 步骤如下&#xff1a; tools —> general o…
阅读更多...
无涯教程-Perl - chop函数

无涯教程-Perl - chop函数

描述 此函数从EXPR,LIST的每个元素或$_(如果未指定值)中删除最后一个字符。 语法 以下是此函数的简单语法- chop VARIABLEchop( LIST )chop返回值 此函数返回从EXPR中删除的字符,并且在列表context中,从LIST的最后一个元素中删除该字符。 例 以下是显示其基本用法的示例…
阅读更多...
汽配企业如何利用MES管理系统解决生产防错难题

汽配企业如何利用MES管理系统解决生产防错难题

汽车配件制造业是一个高效率、低成本、高质量的生产领域&#xff0c;但同时也面临着一系列的挑战。其中最为突出的挑战之一是如何在生产过程中避免错误&#xff0c;提高产品的合格率。本文将介绍汽车配件的制造特点以及如何通过MES管理系统解决方案实现生产防错&#xff0c;从而…
阅读更多...
高中生python零基础怎么学,python高中生自学行吗

高中生python零基础怎么学,python高中生自学行吗

这篇文章主要介绍了高中学历学python好找工作吗&#xff0c;具有一定借鉴价值&#xff0c;需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获&#xff0c;下面让小编带着大家一起了解一下。 学习python的第九天 根据我们前面这几天的学习&#xff0c;我们掌握了Python的…
阅读更多...
最新文章

Copyright @ 2022~2023