搭建Kafka源码环境并测试

文章目录

  • 一、前言
  • 二、环境准备
  • 三、环境搭建
    • 3.1 JDK 环境搭建
    • 3.2 Scala 环境搭建
      • 3.2.1 配置 Scala 环境变量
      • 3.2.2 验证
    • 3.3 Gradle 环境搭建
      • 3.3.1 配置 Gradle 环境变量
      • 3.3.2 验证
    • 3.4 Zookeeper 环境搭建
      • 3.4.1 配置 Zookeeper 环境变量
      • 3.4.2 验证
    • 3.5 Kafka 源码搭建
      • 3.5.1 导入 Kafka 源码至 IDEA
      • 3.5.2 修改 build.gradle 配置
  • 四、源码代码结构
  • 五、核心 Core 目录代码结构
  • 六、源码部署验证
    • 6.1 core.main 下新建日志配置类
    • 6.2 修改 server.properties
    • 6.3 配置 Run Configurations
    • 6.4 发送、消费 message

一、前言

参考的博客是用的是 Kafka 2.7 版本的，于是我这里也采用 2.7 版本，理由是这个版本还保存着 zookeeper，生产环境比较稳定

二、环境准备

  • JDK：1.8.0_241
  • Scala：2.12.8
  • Gradle：6.6
  • Zookeeper：3.4.14

三、环境搭建

3.1 JDK 环境搭建

直接使用本地环境

3.2 Scala 环境搭建

下载链接：Scala 2.12.8 | The Scala Programming Language (scala-lang.org)

3.2.1 配置 Scala 环境变量

vim ~/.bash_profile

# 安装的路径
export SCALA_HOME=/Users/gabriel/Environment/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin

source ~/.bash_profile

3.2.2 验证

输入 scala -version 看到提示则成功

3.3 Gradle 环境搭建

下载链接：Gradle Distributions

下载版本为 gradle-6.6-bin

3.3.1 配置 Gradle 环境变量

vim ~/.bash_profile

# 安装的路径
export GRADLE_HOME=/Users/gabriel/Environment/gradle-6.6
export PATH=$PATH:$GRADLE_HOME/bin

source ~/.bash_profile

3.3.2 验证

输入 gradle -version 看到提示则成功

3.4 Zookeeper 环境搭建

下载链接：Index of /dist/zookeeper/zookeeper-3.4.14 (apache.org)

3.4.1 配置 Zookeeper 环境变量

vim ~/.bash_profile

# 安装的路径
export ZK_HOME=/Users/gabriel/Environment/zookeeper-3.4.14
export PATH=$PATH:$ZK_HOME/bin

source ~/.bash_profile

创建 data 文件夹用于存放日志数据，并在 cfg 文件中指定

cd zookeeper-3.4.14
mkdir data

cd conf
mv zoo_sample.cfg zoo.cfg
# 修改 zoo.cfg 内的配置
dataDir=/Users/gabriel/Environment/zookeeper-3.4.14/data

3.4.2 验证

sh zkServer.sh start

输出提示则成功

3.5 Kafka 源码搭建

下载链接：Apache Kafka

这里选择了 2.7.0 版本

3.5.1 导入 Kafka 源码至 IDEA

Setting 里面需要配置 Gradle Home 为本地地址 /Users/gabriel/Environment/gradle-6.6

3.5.2 修改 build.gradle 配置

这里是我第一次使用 gradle 构建项目，基本原理和 maven 差不多，刚好学习一下

需要把镜像文件下载服务器更换为国内的私服，否则会相当慢，直接导致 “time out” 报错。

进入 kafka 源码包，修改 build.gradle 文件，在原来配置上，添加 ali 私服配置。

buildscript {
    repositories {
      maven {
        url 'https://maven.aliyun.com/nexus/content/groups/public/'
      }
      maven {
        url 'https://maven.aliyun.com/nexus/content/repositories/jcenter'
      }
      // 插件下载地址
      maven {
        url 'https://maven.aliyun.com/repository/gradle-plugin'
      }
  }
}
 
allprojects {
    repositories {
      maven {
        url 'https://maven.aliyun.com/nexus/content/groups/public/'
      }
      maven {
        url 'https://maven.aliyun.com/nexus/content/repositories/jcenter'
      }
      // 插件下载地址
      maven {
        url 'https://maven.aliyun.com/repository/gradle-plugin'
      }
  }
}

Bug 1:

疯狂报错如下，好像是 gradle 的插件找不到，从对应的阿里云地址也下载不下来

解决方案：在上面配置 maven 下载地址的地方加上专门的插件下载地址

A problem occurred configuring root project 'kafka-2.7.0-src'.
> Could not resolve all artifacts for configuration ':classpath'.
   > Could not find gradle.plugin.com.github.spotbugs.snom:spotbugs-gradle-plugin:4.4.4.
     Searched in the following locations:
       - https://maven.aliyun.com/nexus/content/groups/public/gradle/plugin/com/github/spotbugs/snom/spotbugs-gradle-plugin/4.4.4/spotbugs-gradle-plugin-4.4.4.pom
       - https://maven.aliyun.com/nexus/content/repositories/jcenter/gradle/plugin/com/github/spotbugs/snom/spotbugs-gradle-plugin/4.4.4/spotbugs-gradle-plugin-4.4.4.pom
       - https://dl.bintray.com/content/netflixoss/external-gradle-plugins/gradle/plugin/com/github/spotbugs/snom/spotbugs-gradle-plugin/4.4.4/spotbugs-gradle-plugin-4.4.4.pom
     Required by:
         project :
   > Could not find org.gradle:test-retry-gradle-plugin:1.1.6.
     Searched in the following locations:
       - https://maven.aliyun.com/nexus/content/groups/public/org/gradle/test-retry-gradle-plugin/1.1.6/test-retry-gradle-plugin-1.1.6.pom
       - https://maven.aliyun.com/nexus/content/repositories/jcenter/org/gradle/test-retry-gradle-plugin/1.1.6/test-retry-gradle-plugin-1.1.6.pom
       - https://dl.bintray.com/content/netflixoss/external-gradle-plugins/org/gradle/test-retry-gradle-plugin/1.1.6/test-retry-gradle-plugin-1.1.6.pom
     Required by:
         project :

Possible solution:
 - Declare repository providing the artifact, see the documentation at https://docs.gradle.org/current/userguide/declaring_repositories.html

然后直接点右上角的小图标下载依赖

依赖下载完以后需要编译源代码（源代码中可以看到编译的 build 目录），这样子后面部署 kafka.Kafka 启动类然后使用脚本创建 producer、consumer 的时候，才能成功。手动输入命令如下：

./gradlew clean build -x test

或者直接右侧 gradle build，不过其中需要经过很多 test 测试，上面手动跳过

四、源码代码结构

在这里插入图片描述

重点看下其中几个重要的模块:

  • bin 目录：保存 Kafka 工具脚本，包括 kafka-server-start 和 kafka-console-producer 等脚本都存放在这里

  • clients 目录：保存 Kafka 客户端代码，比如生产者和消费者的代码都在该目录下（对于 Kafka 而言都是客户端）

  • config 目录：保存 Kafka 的配置文件，其中比较重要的配置文件是 server.properties

  • connect 目录：保存 Connect 组件的源代码。 Kafka Connect 组件是用来实现 Kafka 与外部系统之间的实时数据传输的。

  • core 目录：保存 Broker 端代码。Kafka 服务器端代码全部保存在该目录下（这对于 Kafka 而言是服务端）

  • generator 目录：Kafka 消息类处理模块，主要是根据 clients 模块下的 message json 文件生成对应的 java 类，在 build.gradle 文件中，可以看到定义了一个任务 processMessages

  • raft 目录：raft 一致性协议相关。

五、核心 Core 目录代码结构

在这里插入图片描述

  • admin 包：执行管理命令的功能；
  • api 包：封装请求和响应 DTO 对象；
  • cluster 包：集群对象，例如 Partition 类代表一个分区，Replica 类代表一个分区副本；
  • common 包：通用类，比如异常类
  • consumer 包：只有一个类 BaseConsumerRecord，后面会丢弃该包，用 clients 包下 org.apache.kafka.clients.consumer.ConsumerRecord 代替；
  • controller 包： 和 kafkaController（kc）相关的类，重点模块，一个kafka集群只有一个leader kafkaController，该kafkaController负责分区管理，副本管理，并保证集群信息在集群中同步；
  • coordinator 包：保存了消费者端的 GroupCoordinator 代码和用于事务的 TransactionCoordinator 代码。对 coordinator 包进行分析，特别是对消费者端的 GroupCoordinator 代码进行分析，是 Broker 端协调者组件设计原理的关键；
  • log 包：保存了 Kafka 最核心的日志结构代码，包括日志、日志段、索引文件等, 另外，该包下还封装了 Log Compaction 的实现机制，是非常重要的源码包；
  • network 包：封装了 Kafka 服务器端网络层的代码，特别是 SocketServer.scala 这个文件，是 Kafka 实现 Reactor 模式的具体操作类，非常值得一读；
  • server 包：顾名思义，它是 Kafka 的服务器端主代码，里面的类非常多，很多关键的 Kafka 组件都存放在这里，比如状态机、Purgatory 延时机制等；
  • tools 包：工具类。

六、源码部署验证

最终其实就是在第三章编译完 kafka 所有文件的基础上，要启动 core 目录下和 broker 相关的类，启动类就是 kafka-2.7.0-src/core/src/main/scala/kafka/Kafka.scala

6.1 core.main 下新建日志配置类

在 core/main 下新建 resources 目录，再将 config/log4j.properties 拷贝到该目录下
在这里插入图片描述

这是为了避免启动报错“SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder””

6.2 修改 server.properties

修改 server.properties 中的 log.dirs 值，变为本地目录，

/Users/gabriel/Desktop/DiveinCode/kafka-2.7.0-src 下新建 kafka-logs 目录，修改配置如下

log.dirs=/Users/gabriel/Desktop/DiveinCode/kafka-2.7.0-src/kafka-logs

6.3 配置 Run Configurations

在这里插入图片描述

6.4 发送、消费 message

上面已经搭建好 Kafka Broker 的部署环境，并且编译成功了所有和 producer、consumer 有关的文件类，现在使用 Kafka 自带的脚本工具测试 producer 和 consumer

整体流程如下：

  1. 创建 topic

    进入 kafka-2.7.0-src/bin 通过 kafka-topics.sh 命令来创建一个名为 topicjxz 的 topic（前提代码已经 build 编译完），zookeeper 的地址我是先通过 sh zkServer.sh start 启动，然后 zkCli 启动客户端找到的：

    sh kafka-topics.sh --zookeeper localhost:2181 --create --topic topicjxz --replication-factor 1 --partitions 1

在这里插入图片描述

  1. 通过 kafka-console-consumer.sh 命令启动一个命令行的 consumer 来消费 topicjxz 这个 topic
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicjxz

在这里插入图片描述

  1. 重新启动一个命令行终端，通过 kafka-console-producer.sh 命令启动一个命令行的 producer 向 topicjxz 这个 topic 中生产数据
sh kafka-console-producer.sh --bootstrap-server localhost:9092 --topic topicjxz

在这里插入图片描述
在这里插入图片描述

至此，我们发现已经将整个 producer、broker、consumer 的链路部署起来并测试成功了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/587770.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

数据可视化宝典：Matplotlib图形实战

数据可视化宝典：Matplotlib图形实战

在数据分析领域，图形化展示数据是非常重要的环节。Python中的matplotlib库是绘制各类图形的强大工具。本文将介绍如何使用matplotlib绘制折线图、直方图、饼图、散点图和柱状图等数据分析中常见的图形，并附上相应的代码示例，可以当初matplotl…
阅读更多...
【C++】——类和对象（初始列表，Static成员，友元）

【C++】——类和对象（初始列表，Static成员，友元）

创作不易，多多支持！ ！😘😘 前言 因为前面的构造函数还有些地方不够清晰，所以这里需要再继续补充一些 一 初始化列表 1.1认识初始化 对于默认的构造函数来说，我们都知道它是起到了初始化的…
阅读更多...
3-4STM32C8T6按键控制LED开与关

3-4STM32C8T6按键控制LED开与关

实物接线如下： 为了代码的简洁性，这里需要对LED与KEY进行封装如下： #include "stm32f10x.h" // Device headervoid LED_Init(void) {RCC_APB2PeriphClockCmd(RCC_APB2Periph_GPIOA, ENABLE);GPIO_InitTypeDef GP…
阅读更多...
WSL2-Ubuntu使用Conda配置百度飞浆paddlepaddle虚拟环境

WSL2-Ubuntu使用Conda配置百度飞浆paddlepaddle虚拟环境

0x00 缘起 本文将介绍在WSL2-Ubuntu系统中，使用Conda配置百度飞浆paddlepaddle虚拟环境中所出现的各种问题以及解决方法，最终运行"run_check()"通过测试。 在WSL2中配置paddlepaddle不像配置Pytorch那样顺滑，会出现各种问题（如：库的文件缺失、不知道如何匹配C…
阅读更多...
工厂模式和策略模式区别

工厂模式和策略模式区别

工厂模式和策略模式都是面向对象设计模式，但它们的目的和应用场景有所不同。 工厂模式是一种创建型设计模式，旨在通过使用一个工厂类来创建对象，而不是直接使用new关键字来创建对象。这样做可以使系统更容易扩展和维护，因为新的对…
阅读更多...
模型智能体开发之metagpt-单智能体实践

模型智能体开发之metagpt-单智能体实践

需求分析 根据诉求完成函数代码的编写，并实现测试case，输出代码 代码实现 定义写代码的action action是动作的逻辑抽象，通过将预设的prompt传入llm，来获取输出，并对输出进行格式化 具体的实现如下 定义prompt模版 …
阅读更多...
Cisco IOS XE Web UI 权限提升漏洞复现(CVE-2023-20198)

Cisco IOS XE Web UI 权限提升漏洞复现(CVE-2023-20198)

0x01 产品简介 Web UI 是一种基于GUI的嵌入式系统管理工具，能够提供系统配置、简化系统部署和可管理性以及增强用户体验。它带有默认映像，因此无需在系统上启用任何内容或安装任何许可证。Web UI 可用于构建配置以及监控系统和排除系统故障，而无需CLI专业知识。 0x02 漏洞…
阅读更多...
redis 高可用 Sentinel 详解

redis 高可用 Sentinel 详解

写在前面 redis 在我们日常的业务开发中是十分常见的，而redis的可用性就必须要有很高的要求，那么 redis集群的高可用由有一个或者多个 Sentinel(哨兵) 实例组成的 哨兵系统来保证的。 哨兵 由一个或者多个 Sentinel 实例组成的 Sentinel 系统可以监控任…
阅读更多...
Java项目：基于SSM框架实现的高校专业信息管理系统设计与实现（ssm+B/S架构+源码+数据库+毕业论文+PPT+开题报告）

Java项目：基于SSM框架实现的高校专业信息管理系统设计与实现（ssm+B/S架构+源码+数据库+毕业论文+PPT+开题报告）

一、项目简介 本项目是一套基于SSM框架实现的高校专业信息管理系统 包含：项目源码、数据库脚本等，该项目附带全部源码可作为毕设使用。 项目都经过严格调试，eclipse或者idea 确保可以运行！ 该系统功能完善、界面美观、操作简单、…
阅读更多...
Python3.11修改并运行oneforall

Python3.11修改并运行oneforall

遇到的问题 使用python3.11默认无法运行oneforall脚本，出现如下报错 # 解决方案 修改 /usr/local/lib/python3.11/dist-packages/exrex.py exrex.py具体文件路径报错中会显示 vim /usr/local/lib/python3.11/dist-packages/exrex.py# 修改前 from re import sre…
阅读更多...
基于Hyperf的CMS，企业官网通用php-swoole后台管理系统

基于Hyperf的CMS，企业官网通用php-swoole后台管理系统

2023年9月11日10:47:00 仓库地址： https://gitee.com/open-php/zx-hyperf-cms CMS，企业官网通用PHP后台管理系统 框架介绍 hyperf SCUI 后端开发组件 php 8.1 hyperf 3.1 数据库 sql(使用最新日期文件) hyperf\doc\sql_bak mysql 8. 系统默认账号…
阅读更多...
微软如何打造数字零售力航母系列科普05 - Azure中计算机视觉的视觉指南

微软如何打造数字零售力航母系列科普05 - Azure中计算机视觉的视觉指南

Azure中计算机视觉的视觉指南 什么是计算机视觉？如何使用Microsoft Azure将计算机视觉功能集成到应用程序和工作流中？ 作者：Nitya Narasimhan 编辑：数字化营销工兵 •11分钟阅读 什么是计算机视觉？如何使用Microso…
阅读更多...
最快成型的前端框架Layuimini本地项目部署演示

最快成型的前端框架Layuimini本地项目部署演示

最快成型的前端框架Layuimini本地项目部署演示 本篇以LayuiMini-v2在线页面预览为例 点击上述链接跳转页面 1. 准备工作 环境准备 WindowsNginxWeb项目资源包（Layuimini-v2） 2. 页面加载 拉取到本地后直接访问时会出现如下弹窗，无法加载页…
阅读更多...
LeetCode LCR 179. 和为s的两个数字

LeetCode LCR 179. 和为s的两个数字

原题链接：LCR 179. 查找总价格为目标值的两个商品 - 力扣（LeetCode） 题目的意思：通过给定的数组，找出两个值，相加并等于目标值。 第一种思路，暴力枚举，伪代码如下： for (…
阅读更多...
暴雨服务器引领信创算力新潮流

暴雨服务器引领信创算力新潮流

去年大模型的空前发展，人工智能也终于迎来了属于自己的“文艺复兴”，众多的模型相继发布，继而催生了整个行业对于智能算力需求的激增。 市场需求与技术驱动仿佛现实世界的左右脚，催动着世界文明的齿轮向前滚动。在全球经济角逐日…
阅读更多...
【计算机网络】FTP站点配置搭建教程以及相关问题解决方案（超详细）

【计算机网络】FTP站点配置搭建教程以及相关问题解决方案（超详细）

文章目录 1、安装Window Server 20082、搭建FTP环境（1）安装FTP服务器（2）配置FTP服务器（3）测试FTP连接 3、遇到的问题以及解决方案（1）Windows无法访问此文件夹（2&#xff…
阅读更多...
如何将安卓手机投屏到Windows 10电脑上

如何将安卓手机投屏到Windows 10电脑上

诸神缄默不语-个人CSDN博文目录 我之所以要干这个事是为了用手机直播的时候在电脑上看弹幕…… 文章目录 1. 方法一：直接用Win10内置的投影到此电脑2. 方法二：用AirDroid Cast投屏到电脑上 1. 方法一：直接用Win10内置的投影到此电脑 在设置…
阅读更多...
抓取应用程序sql语句

抓取应用程序sql语句

一、利用tcpdump和wireshark 抓包方法 1、下载安装wireshark（windows用） 注：可以用wireshark 抓包和分析包 https://www.wireshark.org/ 2、安装tcpdump（linux用） yum install tcpdump -y3、在数据库服务器上抓数据…
阅读更多...
java-链表排序

java-链表排序

需求 思路 排序：讲所有的值都取出来，存储到ArrayList中，然后排序，将排序之后的元素依次使用add方法添加到自定义链表合并排序：先合并，然后调用刚才写的排序算法合并：将表一的头结点作为新链表的…
阅读更多...
CUDA内存模型

CUDA内存模型

核函数性能并不只与线程束的执行有关。 CUDA内存模型概述 GPU和CPU内存模型的主要区别是，CUDA编程模型能将内存层次结构更好地呈现给用户，能让我们显示的控制它的行为。 对程序员来说，一般有两种类型的存储器： 可编程的&#x…
阅读更多...
最新文章

Copyright @ 2022~2023