【Kafka】Kafka安装：Linux本地和Docker

目录

  • Linux本地安装kafka
    • java环境配置
    • Zookeeper的安装配置
    • Kafka的安装与配置
    • 生产与消费
  • Docker安装kafka
    • Zookeeper安装
    • Kafka安装

Linux本地安装kafka

java环境配置

1、上传jdk-8u261-linux-x64.rpm到服务器并安装：

rpm -ivh jdk-8u261-linux-x64.rpm

2、配置环境变量：

vim /etc/profile 1

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd647879 
export PATH=$PATH:$JAVA_HOME/bin

# 生效 
source /etc/profile 
# 验证 
java -version

Zookeeper的安装配置

1、上传zookeeper-3.4.14.tar.gz到服务器

2、解压到/opt：

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf 
# 复制zoo_sample.cfg命名为zoo.cfg 
cp zoo_sample.cfg zoo.cfg 
# 编辑zoo.cfg文件 
vim zoo.cfg

3、修改Zookeeper保存数据的目录，dataDir：

dataDir=/var/lagou/zookeeper/data

4、编辑/etc/profile：

  • 设置环境变量ZOO_LOG_DIR，指定Zookeeper保存日志的位置；
  • ZOOKEEPER_PREFIX指向Zookeeper的解压目录；
  • 将Zookeeper的bin目录添加到PATH中：
export Z00KEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$Z00KEEPER_PREFIx/bin
export Z00_L0G_DIR=/var/lagou/zookeeper/log

5、使配置生效：

source /etc/profile

6、验证：

zkServer.sh status

Kafka的安装与配置

1、上传kafka_2.12-1.0.2.tgz到服务器并解压：

tar -zxf kafka_2.12-1.0.2.tgz -C /opt

2、配置环境变量并生效：

vim /etc/profile

export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin

3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件：

Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址是localhost:2181，后面的 myKafka 是Kafka在Zookeeper中的根节点路径：

在这里插入图片描述

4、启动Zookeeper：

zkServer.sh start

5、确认Zookeeper的状态：

在这里插入图片描述

6、启动Kafka：

进入Kafka安装的根目录，执行如下命令：

在这里插入图片描述

启动成功，可以看到控制台输出的最后一行的started状态：

INF0 [KafkaServer id=0] started(kafka.server.KafkaServer)

7、查看Zookeeper的节点：

在这里插入图片描述

8、此时Kafka是前台模式启动，要停止，使用Ctrl+C。

如果要后台启动，使用命令：

kafka-server-start.sh -daemon config/server.properties

查看Kafka的后台进程：

ps aux | grep kafka

停止后台运行的Kafka：

kafka-server-stop.sh

生产与消费

1、kafka-topics.sh 用于管理主题

# 列出现有的主题
kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题，该主题包含一个分区，该分区为Leader分区，它没有Follower分区副本
kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看分区信息
kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
kafka-topics.sh --zookeeper localhost:2181/myKafka -- describe --topic topic_1
# 删除指定主题
kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1

2、kafka-console-producer.sh用于生产消息

# 开启生产者
kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092

3、kafka-console-consumer.sh用于消费消息

# 开启消费者
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1
#  开启消费者方式二，从头消费，不按照偏移量消费
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning

Docker安装kafka

Zookeeper安装

1、拉取zookeeper 镜像

docker pull zookeeper

2、运行zookeeper 服务

docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /mydata/zookeeper/data:/data -v /mydata/zookeeper/conf:/conf -v /mydata/zookeeper/logs:/datalog zookeeper

参数：

  • --log-driver json-file：指定日志驱动程序为json-file。json-file是一个日志驱动程序，它将日志记录为JSON格式的文件。
  • --log-opt max-size=100m：设置每个日志文件的最大大小为100MB。当单个日志文件达到这个大小时，Docker会自动开始写入新的日志文件。
  • --log-opt max-file=2：设置最多保留2个日志文件。当达到这个限制时，旧的日志文件会被自动删除，以保留最新的2个日志文件。
  • --name zookeeper：容器名字
  • -p 2181:2181：映射端口
  • -v /mydata/zookeeper/data:/data：挂载Zookeeper的数据目录，存储其运行时数据，包括事务日志和快照
  • -v /mydata/zookeeper/conf:/conf：挂载Zookeeper配置文件
  • -v /mydata/zookeeper/logs:/datalog：挂载Zookeeper的日志文件

日志相关的参数只是测试使用，实际根据需求调整。

本机修改文件路径后：

docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /Users/fltech/docker/zookeeper/data:/data -v /Users/fltech/docker/zookeeper/conf:/conf -v /Users/fltech/docker/zookeeper/logs:/datalog zookeeper

3、验证是否启动成功

进入zookeeper容器

docker exec -it 容器id /bin/bash

找到配置文件位置

cat /conf/zoo.cfg

查看zookeeper状态

zkServer.sh status

显示如下：

Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone

说明Zookeeper启动成功，运行模式是单机版。

Kafka安装

1、拉取kafka 镜像

docker pull kafka

2、运行kafka

docker run -d  --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.21:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.21:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime -v /mydata/kafka/conf:/opt/kafka/conf -v /mydata/kafka/data:/tmp/kafka-logs -v /mydata/kafka/logs:/logs wurstmeister/kafka

kafka运行时，指定需要的环境变量

  • -e KAFKA_BROKER_ID=0：配置BROKER_ID，默认第一台是0，单机模式下只能是0
  • -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.21:2181/kafka：配置zookeeper的地址及管理kafka的路径，注意IP使用公网地址
  • -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.21:909 ：把kafka的地址端口注册给zookeeper
  • -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092： 配置kafka的监听端口
  • -v /etc/localtime:/etc/localtime： 容器时间同步虚拟机的时间

挂载文件根据需要：

-v /mydata/kafka/conf:/opt/kafka/conf：挂载配置文件

-v /mydata/kafka/data:/tmp/kafka-logs：挂载数据目录，存储其运行时数据，包括日志文件和元数据

-v /mydata/kafka/logs:/logs：挂载日志

本机修改文件路径后：

docker run -d  --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.21:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.21:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime -v /Users/fltech/docker/kafka/conf:/opt/kafka/conf -v /Users/fltech/docker/kafka/data:/tmp/kafka-logs -v /Users/fltech/docker/kafka/logs:/logs wurstmeister/kafka
  1. 验证是否启动成功

进入容器：

docker exec -it kafka1 bash

到保存脚本的目录：

cd /opt/kafka_2.13-2.7.1/bin

创建一个topic：

/opt/kafka_2.13-2.7.1/bin > kafka-topics.sh --create --zookeeper 192.168.1.21:2181/kafka --replication-factor 1 --partitions 1 --topic topicDemo
Created topic topicDemo.

能够成功创建，说明安装成功。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/347175.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

WorkPlus移动应用管理平台，助力企业实现高效移动办公

WorkPlus移动应用管理平台，助力企业实现高效移动办公

在移动办公成为当今工作方式的主流趋势下，管理和运营企业移动应用成为了提高工作效率和数据安全的重要环节。而移动应用管理平台作为实现移动办公高效管理的关键工具，WorkPlus以其领先的性能和全面的功能，助力企业实现高效移动办公。 为何选…
阅读更多...
DP读书：在常工院的2023年度总结

DP读书：在常工院的2023年度总结

DarrenPig的年度总结 这是最好的时代，这是最坏的时代。——狄更斯 这是最好的时代，这是最坏的时代。——狄更斯 这是最好的时代，这是最坏的时代。——狄更斯 一、2023我的感受 不就是2023吗，不就是一年的经历吗，大家…
阅读更多...
如何使用Docker部署导航页工具Dashy并实现任意浏览器远程访问——“cpolar内网穿透”

如何使用Docker部署导航页工具Dashy并实现任意浏览器远程访问——“cpolar内网穿透”

文章目录 简介1. 安装Dashy2. 安装cpolar3.配置公网访问地址4. 固定域名访问 简介 Dashy 是一个开源的自托管的导航页配置服务，具有易于使用的可视化编辑器、状态检查、小工具和主题等功能。你可以将自己常用的一些网站聚合起来放在一起，形成自己的导航…
阅读更多...
小红书商品笔记发布流程，如何避免盘营销

小红书商品笔记发布流程，如何避免盘营销

随着平台营销内容不断被管制，商品笔记慢慢出现在了人们的视野，这同时也意味着达人和品牌方们，可以名正言顺的在笔记内容中植入产品。商品链接的开通意味着，不管是达人还是品牌转化率都会进一步提升，今天来马文化传媒和…
阅读更多...
AIGC：让生成式AI成为自己的外脑（文末送书）

AIGC：让生成式AI成为自己的外脑（文末送书）

🌈个人主页：聆风吟 🔥系列专栏：数据结构、网络奇遇记 🔖少年有梦不应止于心动，更要付诸行动。 文章目录 📋前言一. 什么是AIGC?二. AIGC如何运作？2.1 步骤一：收集数据2.…
阅读更多...
仅使用 Python 创建的 Web 应用程序（前端版本）第06章_登录页面

仅使用 Python 创建的 Web 应用程序（前端版本）第06章_登录页面

从本章开始，我们将创建每个页面。 本栏的例子 可以访问这里， WTS 首先是登录页面。 完成后的图像如下 创建过程如下 No类型内容1Model创建继承BaseDataModel的数据类User、Session2MockDB创建用户表并添加管理员/成员用户3Service创建AuthAPIClient、UserAPIClient4Page定义…
阅读更多...
利用Burp Suite观察https通联

利用Burp Suite观察https通联

对使用 HTTPS 协议的应用程序进行测试时，常使用 bp 观察流量，为能成功建立HTTPS联接，在将bp设置居代理的同时，还必须导入bp伪证书，这样才能修改请求和响应，加密和解密流量，成功模拟浏览的各种动…
阅读更多...
Maven构建工具：Java项目的不可或缺之选

Maven构建工具：Java项目的不可或缺之选

引言 在Java开发领域，构建工具是项目中至关重要的一环。Maven（Maven Apache）是一个强大的构建工具，用于管理项目的构建、依赖和文档等方面。本篇博文将介绍如何配置和使用Maven来构建和管理Java项目。 第一部分：Mave…
阅读更多...
数据脱敏(三)脱敏算法-遮盖算法

数据脱敏(三)脱敏算法-遮盖算法

脱敏算法篇使用阿里云数据脱敏算法为模板,使用算子平台快速搭建流程来展示数据 遮盖脱敏是一种数据脱敏技术，它的主要目的是通过隐藏或替换敏感信息来保护数据安全，同时保持数据的其他特性不变，以便于数据的进一步使用和分析。这种脱敏技术适…
阅读更多...
九州金榜｜过年期间如何合理规划孩子学习？

九州金榜｜过年期间如何合理规划孩子学习？

随着春节的临近，家家户户都沉浸在喜庆的氛围中。对于孩子们来说，过年意味着热闹、欢笑和丰盛的美食。然而，即使是过年，学习也不应被忽视。九州金榜家庭教育将和大家一起探讨如何合理安排过年期间孩子的学习。 一、保持学习持续性 …
阅读更多...
探索编程世界的利器！选择哪个IDE，成就新手开发之路？

探索编程世界的利器！选择哪个IDE，成就新手开发之路？

文章目录 一、IDE的概念和作用IDE是什么？为什么说选择一款IDE对开发者来说可以起到事半功倍的作用？ 二、当下备受推崇的IDE有哪些？1. Visual Studio Code2. PyCharm3. IntelliJ IDEA 三、如何选择一个适合自己的IDE？四、IDE的使用…
阅读更多...
React-Native项目 — 自定义字体的使用

React-Native项目 — 自定义字体的使用

系列文章目录 React-Native环境搭建（IOS）React-Native项目 — 关于IOS知识储备React-Native项目工程搭建（开发模板搭建）React-Native项目矢量图标库（react-native-vector-icons） 目录 系列文章目录前言一、…
阅读更多...
Linux多线程——生产消费者模型

Linux多线程——生产消费者模型

Gitee仓库：阻塞队列、环形队列 文章目录 1. 死锁1. 1 死锁概念1.2 死锁的四个必要条件1.3 解决死锁 2. 线程同步3. 条件变量3.1 举个例子3.2 接口 4. 生产消费者模型4.1 什么是生产消费者模型4.2 基于阻塞队列的生产消费模型4.3 环形队列（信号量&#xf…
阅读更多...
electron-vue更新到最新版本无法使用解决

electron-vue更新到最新版本无法使用解决

更新版本： 网上说使用yarn upgrade-interactive --latest但是我这无法运行 所以我是使用以下命令进行更新的，不要急一条一条执行： yarn add electron yarn add electron-builder yarn add electron-debug yarn add electron-devtools-insta…
阅读更多...
数据目录驱动测试——深入探讨Pytest插件 pytest-datadir

数据目录驱动测试——深入探讨Pytest插件 pytest-datadir

在软件测试中，有效管理测试数据对于编写全面的测试用例至关重要。Pytest插件 pytest-datadir 提供了一种优雅的解决方案，使得数据目录驱动测试变得更加简单而灵活。本文将深入介绍 pytest-datadir 插件的基本用法和实际案例，助你更好地组织和利用测试数据。 什么是pytest-da…
阅读更多...
centos 安装mysql5.7教程

centos 安装mysql5.7教程

一，配置yum mysql5.7安装源 配置yum mysql5.7安装源 yum localinstall https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 配置mysql5.7安装源成功 查看配置成功的安装源 yum repolist enabled | grep "mysql*" 执行后看到已配…
阅读更多...
matlab窗函数-hann窗和hamming窗函数

matlab窗函数-hann窗和hamming窗函数

窗函数的作用 在时域上，窗函数可以看作是对原始信号进行截断或调制的加权函数。这些窗函数通常在时域上是有限的宽度，并且具有对称性，如矩形窗、汉宁窗、汉明窗和布莱克曼窗等。例如，汉明窗是一种对称窗函数，它可以用…
阅读更多...
揭秘淘宝图片搜索商品接口：一键上传，海量相似商品即刻到手！

揭秘淘宝图片搜索商品接口：一键上传，海量相似商品即刻到手！

淘宝图片搜索商品接口技术详解 一、概述 淘宝图片搜索商品接口是淘宝开放平台提供的一项创新功能，允许第三方开发者通过上传图片进行商品搜索。通过使用这个接口，开发者可以快速地获取与图片相似的商品信息，为消费者提供更精准的购物体验。…
阅读更多...
【嵌入式学习】C++QT-Day1-C++基础

【嵌入式学习】C++QT-Day1-C++基础

思维导图&&笔记 见我的博客&#xff1a;https://lingjun.life/wiki/EmbeddedNote/19Cpp 作业&#xff1a; 提示并输入一个字符串&#xff0c;统计该字符中大写、小写字母个数、数字个数、空格个数以及其他字符个数 要求使用C风格字符串完成 #include <iostream&…
阅读更多...
深入理解HarmonyOS UIAbility：生命周期、WindowStage与启动模式探析

深入理解HarmonyOS UIAbility：生命周期、WindowStage与启动模式探析

UIAbility组件概述 UIAbility组件是HarmonyOS中一种包含UI界面的应用组件&#xff0c;主要用于与用户进行交互。每个UIAbility组件实例对应最近任务列表中的一个任务&#xff0c;可以包含多个页面来实现不同功能模块。 声明配置 为了使用UIAbility&#xff0c;首先需要在mod…
阅读更多...
最新文章

Copyright @ 2022~2023