kafka-splunk数据通路实践

目的： 鉴于目前网络上没有完整的kafka数据投递至splunk教程，通过本文操作步骤，您将实现kafka数据投递至splunk日志系统
在这里插入图片描述
实现思路：

  1. 创建kafka集群
  2. 部署splunk，设置HTTP事件收集器
  3. 部署connector服务
  4. 创建connector任务，将kafka主题消息通过connector投递到splunk

测试环境：

  • 测试使用的操作系统为centos7.5_x86_64
  • 文章提供了两种部署方式，分别是单机部署和容器化部署
  • 单机部署使用的主机来自腾讯云-cvm产品（腾讯云CVM），1台4c8g（如果条件允许，建议使用3台2c4g主机，分别部署kafka、connector、splunk，钱包有限，这里只是教程，不讲究这些）
  • 上述云主机，已安装JDK8及以上版本
  • 容器化部署使用的k8s集群来自腾讯云TKE，可以一键部署k8s集群，欢迎体验～

一、部署splunk

●splunk是一款收费软件，如果每天的数据量少于500M，可以使用Splunk提供的免费License，但不能用安全，分布式等高级功能。
部署步骤如下：

部署方式1：容器部署：

  1. 安装并启动docker（k8s集群节点可免除此步骤）：
yum install docker -y
systemctl start docker
  1. 获取splunk镜像：
# https://hub.docker.com/r/splunk/splunk/tags
docker pull splunk/splunk
  1. 【非必须，3和4选一个】启动splunk容器，设置为自动接受lic，设置密码：
docker run -d -p 8000:8000 -e "SPLUNK_START_ARGS=--accept-license" -e "SPLUNK_PASSWORD=你的密码"  -p 8088:8088 --name splunk splunk/splunk:latest
  1. 【非必须，3和4选一个】在k8s中以工作负载方式部署splunk，这将为你创建一个splunk-ns命名空间，并创建deployment类型的工作负载部署splunk，以及一个LB类型的service，请根据你的需要修改命名空间、镜像、密码、端口：
vi splunk-deployment.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: splunk-ns

---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: splunk
  namespace: splunk-ns
spec:
  replicas: 1
  selector:
    matchLabels:
      app: splunk
  template:
    metadata:
      labels:
        app: splunk
    spec:
      containers:
      - name: splunk
        image: splunk/splunk:latest
        ports:
        - containerPort: 8000
        - containerPort: 8088
        env:
        - name: SPLUNK_START_ARGS
          value: "--accept-license"
        - name: SPLUNK_PASSWORD
          value: "你的密码"
        volumeMounts:
        - name: splunk-data
          mountPath: /opt/splunk/var
      volumes:
      - name: splunk-data
        emptyDir: {}

---

apiVersion: v1
kind: Service
metadata:
  name: splunk
  namespace: splunk-ns
spec:
  selector:
    app: splunk
  ports:
  - name: http
    port: 8000
    targetPort: 8000
  - name: mgmt
    port: 8088
    targetPort: 8088
  type: LoadBalancer
  1. 打开浏览器，访问splunk的地址:8000，预期可以看到splunk的页面。用户名/密码：admin/你的密码
    在这里插入图片描述

部署方式2：单机部署：

  1. 注册账号并获取splunk下载链接：https://www.splunk.com/en_us/download/splunk-enterprise.html ⚠️
  2. 解压缩
# 解压到/opt
tar -zxvf splunk-8.0.8-xxzx-Linux-x86_64.tgz -C /opt
  1. 启动splunk，接受许可
cd /opt/splunk/bin/
./splunk start --accept-license  //启动，并自动接收许可
  1. 输入自定义用户名、密码
    在这里插入图片描述
    其他命令参考：
./splunk start   //启动splunk
./splunk restart   //重启splunk
./splunk status    //查看splunk状态
./splunk version   //查看splunk版
#卸载
./splunk disable boot-start //关闭自启动
./splunk stop //停止splunk
/opt/splunk/bin/rm–rf/opt/splunk //移除splunk安装目录
  1. splunk安装之后，默认开启Splunk Web端口8000。我们访问8000端口
    ●ps：Splunkd端口8089为管理端口
    在这里插入图片描述

在这里插入图片描述
至此，splunk部署成功

二、配置Splunk HTTP 事件收集器

  1. 在splunk中配置HTTP 事件收集器：
    a. 进入splunk web页面，点击右上角【设置】-【数据输入】
    在这里插入图片描述
    b. 选择HTTP事件收集器，点击【全局设置】，启用标记，HTTP端口为8088，点击【保存】
    在这里插入图片描述
    c. 点击右上角【新建标记】，新建HTTP事件收集器，填写：

    填写名称：splunk_kafka_connect_token，点击【下一步】；
    新建来源类型“splunk_kafka_data”，新建索引“splunk_kafka_index”，点击【检查】；
    提交；

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  2. 随后，在设置-数据输入-HTTP事件收集器页面，将得到一个token，记录此token
    在这里插入图片描述

三、启动kafka并生产消息

  1. 启动kafka实例
    a. 安装jdk
yum install java -y

b. 下载kafka：https://kafka.apache.org/downloads，以2.12版本为例
在这里插入图片描述

c.解压

tar -zxvf kafka_2.12-3.6.1.tgz

d.启动zookeeper

cd kafka_2.12-3.6.1/
./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

e.启动kafka

./bin/kafka-server-start.sh config/server.properties &

在这里插入图片描述

f.创建topic，假设叫topic0

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic topic0

在这里插入图片描述

g.使用生产者发送若干条消息

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic0

在这里插入图片描述

h.消费

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic topic0

在这里插入图片描述
至此，kafka启动成功

三、使用splunk for kafka connector实现splunk与kafka数据通路

  1. github上下载splunk for kafka connector的latest jar，下载地址：https://github.com/splunk/kafka-connect-splunk，在执行以下操作前请仔细阅读github上的redame，因为随着版本更新，配置或许会改变
    在这里插入图片描述
    在这里插入图片描述
  2. 配置splunk for kafka connector
    a.此步骤将完成kafka connector服务。返回带有kafka sdk的主机（注意，这里我只有一台测试机，但是如果你是多台主机分别部署kafka、connector的背景下，这里返回的不是kafka集群主机，我们要创建connector服务，kafka sdk是带有connector的配置的），编辑kafka_2.12-3.6.1/config/connect-distributed.properties
    参数说明：
    注意：rest.advertised.host.name和rest.advertised.port在不同的kafka版本中参数名不同，以connect-distributed.properties原文档参数为准;StringConverter表示日志格式为string，若日志为其他格式，请参考官方文档
# 将10.0.0.0:19000替换为你的kafka地址
bootstrap.servers=10.0.0.0:19000
group.id=test-splunk-kafka-connector
# 假设消息是string类型，格式不对splunk就不能解析日志
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
# 换为connector的地址
rest.advertised.host.name=10.1.1.1
rest.advertised.port=8083
#指定splunk-kafka-connector.jar所在目录
plugin.path=/usr/local/bin/
  1. 启动conncetor：
cd kafka_2.12-3.6.1/
./bin/connect-distributed.sh config/connect-distributed.properties
  1. 验证splunk connector：
# curl http://「connector ip」:8083/connector-plugins
curl http://10.1.1.1:8083/connector-plugins

预期出现这个字段，表示splunk connector已经启动了：{“class”:“com.splunk.kafka.connect.SplunkSinkConnector”,“type”:“sink”,“version”:“v2.2.0”}
在这里插入图片描述

  1. 创建connector任务，替换10.1.1.1为您的kafka connector地址10.0.0.0为您的splunk地址，token为splunk事件收集器的token，topics替换为您的kafka topic
curl 10.1.1.1:8083/connectors -X POST -H "Content-Type: application/json" -d'{
  "name": "splunk-kafka-connect-task",
    "config": {
     "connector.class": "com.splunk.kafka.connect.SplunkSinkConnector",
     "tasks.max": "3",
     "topics": "topic0",
     "splunk.indexes": "splunk_kafka_index",
     "splunk.hec.uri":"https://10.0.0.0:8088",
     "splunk.hec.token": "b4594xxxxxx",
     "splunk.hec.ack.enabled" : "false",
     "splunk.hec.raw" : "false",
     "splunk.hec.json.event.enrichment" : "org=fin,bu=south-east-us",
     "splunk.hec.ssl.validate.certs": "false",
     "splunk.hec.track.data" : "true"
    }
}'

预期返回：
在这里插入图片描述

  1. 进入splunk 主页-search&reporting
    在搜索栏填写：index="splunk_kafka_index"验证index中的数据，预期能查看到我们生产的消息
    在这里插入图片描述
    在这里插入图片描述
    至此，kafka-splunk已打通

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/373782.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

前缀和算法

前缀和算法

【模板】前缀和 题目链接：前缀和 算法思路 先预处理出来⼀个「前缀和」数组： ⽤ dp[i] 表⽰： [1, i] 区间内所有元素的和，那么 dp[i - 1] ⾥⾯存的就是 [1, i - 1] 区间内所有元素的和，那么：可得递推公式…
阅读更多...
docker安装etherpad文档系统

docker安装etherpad文档系统

效果 安装 1.创建并进入目录 mkdir -p /opt/etherpad cd /opt/etherpad 2.修改目录权限 chmod -R 777 /opt/etherpad 3.创建并启动容器 docker run -d --name etherpad --restart always -p 10054:9001 -v /opt/etherpad/data:/opt/etherpad-lite/var etherpad/etherpad:la…
阅读更多...
YOLO-World——超级轻量级开放词汇目标检测方法

YOLO-World——超级轻量级开放词汇目标检测方法

前言 目标检测一直是计算机视觉领域中不可忽视的基础挑战，对图像理解、机器人技术和自主驾驶等领域具有广泛应用。随着深度神经网络的发展，目标检测方面的研究取得了显著进展。尽管这些方法取得了成功，但它们存在一些限制，主要体…
阅读更多...
业务架构设计之汽配供应链与实现的实践总结

业务架构设计之汽配供应链与实现的实践总结

随着汽车行业的不断发展，汽配供应链的规模和复杂度也在不断增加。为了满足市场需求，建立一个高效、可靠的汽配供应链业务系统至关重要。本文将总结一些关键的实践经验，帮助读者了解如何设计和实现一个稳定且高效的汽配供应链业务系统。 1. 业…
阅读更多...
从零开始手写mmo游戏从框架到爆炸（七）— 消息封装

从零开始手写mmo游戏从框架到爆炸（七）— 消息封装

上一篇，我们初步把消息handler 注册到了服务中，在进行后续工作之前我们需要再做一些准备工作。 第一：把之前自己管理的bean放到spring中去管理，后面大部分的bean都通过spring来管理。 第二：为了方便路由消费&#xff0…
阅读更多...
C语言：内存函数

C语言：内存函数

创作不易，友友们给个三连吧！！ C语言标准库中有这样一些内存函数，让我们一起学习吧！！ 一、memcpy函数的使用和模拟实现 void * memcpy ( void * destination, const void * source, size_t num ); 1.1 使…
阅读更多...
分享65个节日PPT，总有一款适合您

分享65个节日PPT，总有一款适合您

分享65个节日PPT，总有一款适合您 65个节日PPT下载链接：https://pan.baidu.com/s/1hc1M5gfYK8eDxQVsK8O9xQ?pwd8888 提取码：8888 Python采集代码下载链接：采集代码.zip - 蓝奏云 学习知识费力气，收集整理更不易。知…
阅读更多...
编译原理与技术（二）——词法分析（一）正则表达式

编译原理与技术（二）——词法分析（一）正则表达式

一、词法分析的概貌 一个程序，在我们看来往往是像下图这样的。 实际上，上面的程序本质上就是一个字符串，所以，它等价于下面这样的。 上面的字符串（字符流） ，就是编译器接收到的程序的形式。 所…
阅读更多...
centos安装inpanel

centos安装inpanel

前置条件 安装python yum -y install python 安装 cd /usr/local git clone https://gitee.com/WangZhe168_admin/inpanel.git cd inpanel python install.py 安装过程需要设置账户 密码 端口号 我设置的是admin:admin 10050 使用 打开浏览器,输入 http://192.168.168.…
阅读更多...
【人工智能】神奇的Embedding：文本变向量，大语言模型智慧密码解析(10)

【人工智能】神奇的Embedding：文本变向量，大语言模型智慧密码解析(10)

什么是嵌入？ OpenAI 的文本嵌入衡量文本字符串的相关性。嵌入通常用于： Search 搜索（结果按与查询字符串的相关性排序）Clustering 聚类（文本字符串按相似性分组）Recommendations 推荐（推荐具有…
阅读更多...
02.05

02.05

1.单链表 main #include "1list_head.h" int main(int argc, const char *argv[]) { //创建链表之前链表为空Linklist headNULL;int n;datatype element;printf("please enter n:");scanf("%d",&n);for(int i0;i<n;i){printf("ple…
阅读更多...
22.仿简道云公式函数实战-数学函数-COT

22.仿简道云公式函数实战-数学函数-COT

1. COT函数 COT 函数可用于计算角度的余切值。 2. 函数用法 COT(弧度) 使用该函数时&#xff0c;需要将角度转化为弧度参与计算&#xff0c;可通过 RADIANS 函数 将角度转化为弧度。 3. 函数示例 如计算 COT(45) 的值&#xff0c;可设置公式为COT(RADIANS(45))&#xff0…
阅读更多...
算法——二分查找算法

算法——二分查找算法

1. 二分算法是什么&#xff1f; 简单来说&#xff0c;"二分"指的是将查找的区间一分为二&#xff0c;通过比较目标值与中间元素的大小关系&#xff0c;确定目标值可能在哪一半区间内&#xff0c;从而缩小查找范围。这个过程不断重复&#xff0c;每次都将当前区间二分…
阅读更多...
算法练习-四数之和（思路+流程图+代码）

算法练习-四数之和（思路+流程图+代码）

难度参考 难度&#xff1a;中等 分类&#xff1a;数组 难度与分类由我所参与的培训课程提供&#xff0c;但需要注意的是&#xff0c;难度与分类仅供参考。且所在课程未提供测试平台&#xff0c;故实现代码主要为自行测试的那种&#xff0c;以下内容均为个人笔记&#xff0c;旨在…
阅读更多...
配置git环境与项目创建

配置git环境与项目创建

项目设计 名称&#xff1a;KOB 项目包含的模块 PK模块&#xff1a;匹配界面&#xff08;微服务&#xff09;、实况直播界面&#xff08;WebSocket协议&#xff09; 对局列表模块&#xff1a;对局列表界面、对局录像界面 排行榜模块&#xff1a;Bot排行榜界面 用户中心模块&…
阅读更多...
【Qt】常见问题

【Qt】常见问题

1.存在未解析的标识符 将build文件夹删掉重新编译。 2.左侧项目目录栏无法删除已添加项目 打开目标项目上一级的pro文件&#xff0c;将目标文件名字注释或者删除掉&#xff0c;最后保存&#xff0c;qt就会自动更新&#xff0c;将该项目隐藏掉。 3.在qt creator下添加槽函数…
阅读更多...
大型装备制造企业案例分享——通过CRM系统管理全球业务

大型装备制造企业案例分享——通过CRM系统管理全球业务

本期&#xff0c;小Z为大家带来的CRM管理系统客户案例是某大型装备制造企业运用Zoho CRM管理全球业务的过程分享。该企业是创业板上市公司&#xff0c;业务遍及100多个国家和地区&#xff0c;合作伙伴超百位&#xff0c;拥有覆盖全球的销售和服务网络。截止目前&#xff0c;相继…
阅读更多...
油猴js 获取替换网页链接并重定向

油猴js 获取替换网页链接并重定向

场景 适用一些镜像网站进行重定向&#xff0c;比如Github。 代码 // UserScript // name New Userscript // namespace http://tampermonkey.net/ // version 2024-02-06 // description try to take over the world! // author You // match …
阅读更多...
❤ React18 环境搭建项目与运行（地址已经放Gitee开源）

❤ React18 环境搭建项目与运行（地址已经放Gitee开源）

❤ React项目搭建与运行 环境介绍 node v20.11.0 react 18.2 react-dom 18.2.0一、React环境搭建 第一种普通cra搭建 1、检查本地环境 node版本 18.17.0 检查node和npm环境 node -v npm -v 2、安装yarn npm install -g yarn yarn --version 3、创建一个新的React项目…
阅读更多...
OpenCV 图像处理六（傅里叶变换、模板匹配与霍夫变换）

OpenCV 图像处理六（傅里叶变换、模板匹配与霍夫变换）

文章目录 一、傅里叶变换1.1 NumPy实现和逆实现1.1.1 NumPy实现傅里叶变换Demo 1.1.2 NumPy实现逆傅里叶变换Demo 1.2 OpenCV实现和逆实现1.2.1 OpenCV实现傅里叶变换Demo 1.2.2 OpenCV实现逆傅里叶变换Demo 1.3 频域滤波1.3.1低频、高频1.3.2 高通滤波器构造高通滤波器Demo 1.…
阅读更多...
最新文章

Copyright @ 2022~2023