Elk+Filebeat+Kafka实现日志收集

Elk+Filebeat+Kafka实现日志收集(本机nginx)

部署Zookeeper

1.实验组件

#准备3台服务器做Zookeeper集群
20.0.0.10
20.0.0.20
20.0.0.30

2.安装前准备

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

#安装JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

#将apache-zookeeper-3.5.7-bin.tar.gz压缩包上传至/opt目录

3.安装Zookeeper

#三台服务器一齐操作
cd /opt
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /opt/zookeeper

#修改配置文件
cd /opt/zookeeper/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
--2--
tickTime=2000
#通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒

--5--
initLimit=10
#Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s

--8--
syncLimit=5
#Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer

--12--修改
dataDir=/opt/zookeeper/data
#指定保存Zookeeper中的数据的目录，目录需要单独创建

--添加--
dataLogDir=/opt/zookeeper/logs
#指定存放日志的目录，目录需要单独创建

--15--
clientPort=2181
#客户端连接端口

--末尾添加集群信息--
server.1=20.0.0.10:3188:3288
server.2=20.0.0.20:3188:3288
server.3=20.0.0.30:3188:3288


#在每个节点上创建数据目录和日志目录
mkdir /opt/zookeeper/data
mkdir /opt/zookeeper/logs

#在每个节点的dataDir指定的目录下创建一个 myid 的文件,不同节点分配1、2、3
echo 1 > /opt/zookeeper/data/myid
echo 2 > /opt/zookeeper/data/myid
echo 3 > /opt/zookeeper/data/myid

#配置 Zookeeper 启动脚本
vim /etc/init.d/zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/opt/zookeeper'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

#设置开机自启
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

#分别启动 Zookeeper
service zookeeper start

#查看当前状态
service zookeeper status

部署Kafka(3.4.1版本)

1.安装Kafka

cd /opt
--上传kafka_2.13-3.4.1.tgz--
tar -xf kafka_2.13-3.4.1.tgz
mv kafka_2.13-3.4.1 kafka
cd kafka/config/
cp server.properties server.properties.bak
vim server.properties
--24--
broker.id=1
#broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=2、broker.id=3

--34--
listeners=PLAINTEXT://20.0.0.10:9092
#每台服务器分别为10、20、30，不用加地址映射

--62--
log.dirs=/var/log/kafka
#kafka运行日志存放的路径，也是数据存放的路径

--125--
zookeeper.connect=20.0.0.10:2181,20.0.0.20:2181,20.0.0.30:2181
#配置连接Zookeeper集群地址

#修改全局配置
vim /etc/profile
--添加--
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile
#配置Zookeeper启动脚本
vim /etc/init.d/kafka

#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/opt/kafka'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

#设置开机自启
chmod +x /etc/init.d/kafka
chkconfig --add kafka

#分别启动Kafka
service kafka start

2.命令行测试

#创建topic
kafka-topics.sh --create --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --replication-factor 2 --partitions 3 --topic test1

#查看当前服务器中的所有 topic
kafka-topics.sh --list --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092

#发布消息
kafka-console-producer.sh --broker-list 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092  --topic test1

#消费消息
kafka-console-consumer.sh --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --topic test1 --from-beginning

#修改分区数
kafka-topics.sh --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --alter --topic test1 --partitions 6

#删除 topic
kafka-topics.sh --delete --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --topic test1

部署Filebeat 

 1.安装Filebeat

#10
cd /opt/
--上传filebeat-6.7.2-linux-x86_64.tar.gz--
tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 filebeat
vim /etc/logstash/logstash.yml
--64--
path.config: /opt/log

systemctl restart logstash

2.时间同步

#所有节点
yum -y install ntpdate
ntpdate ntp.aliyun.com 
date

3.配置filebeat

#给nginx日志文件赋权
cd /var/log/nginx/
chmod 777 access.log error.log

#配置filebeat
cd /opt/filebeat
vim filebeat.yml
filebeat.inputs:

- type: log
  enabled: true	
  paths:
    - /var/log/nginx/access.log
    - /var/log/nginx/error.log
  tags: ["nginx"]
  fields:
    service_name: 20.0.0.10_nginx
    log_type: nginx
    from: 20.0.0.10

output.kafka:
  enabled: true
  hosts: ["20.0.0.10:9092","20.0.0.20:9092","20.0.0.30:9092"]
  topic: "nginx"


--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
(全部注释掉)

nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#启动filebeat

4.配置logstash

cd /opt/log/
vim kafka.conf

input {
    kafka {
        bootstrap_servers => "20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092"
        topics  => "nginx"
        type => "nginx_kafka"
        codec => "json"
                auto_offset_reset => "earliest"
                decorate_events => true
    }
}

output {
  if "nginx" in [tags] {
    elasticsearch {
      hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
      index => "nginx_access-%{+YYYY.MM.dd}"
    }
  }

  stdout { codec => rubydebug }
}

logstash -f kafka.conf --path.data /opt/test1

日志收集(远程Apache+Mysql)

部署Filebeat

1.安装配置filebeat

#收集81服务器上的mysql和apache日志
cd /opt/
--上传filebeat-6.7.2-linux-x86_64.tar.gz--
tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 filebeat
cd filebeat/
vim filebeat.yml
 
filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /etc/httpd/logs/access_log
    - /etc/httpd/logs/error_log
  tags: ["httpd_81"]
  fields:
    service_name: 20.0.0.81_httpd
    log_type: httpd
    from: 20.0.0.81
 
- type: log
  enabled: true
  paths:
    - /usr/local/mysql/data/mysql_general.log
  tags: ["mysql_81"]
  fields:
    service_name: 20.0.0.81_mysql
    log_type: mysql
    from: 20.0.0.81

output.kafka:
  enabled: true
  hosts: ["20.0.0.10:9092","20.0.0.20:9092","20.0.0.30:9092"]
  topic: "httpdmysql"
 
--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
(全部注释掉)

nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#启动filebeat

2.配置logstash

10：
cd /opt/log/
vim 81_a+m.conf 
 
input {
    kafka {
        bootstrap_servers => "20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092"
        topics  => "httpdmysql"
        type => "httpd+mysql_kafka"
        codec => "json"
                auto_offset_reset => "earliest"
                decorate_events => true
    }
}

output {
  if "httpd_81" in [tags] {
    elasticsearch {
      hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
      index => "nginx_access-%{+YYYY.MM.dd}"
    }
  }


  if "mysql_81" in [tags] {
    elasticsearch {
      hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
      index => "nginx_access-%{+YYYY.MM.dd}"
    }
  }

  stdout { codec => rubydebug }
}

logstash -f 81_a+m.conf --path.data /opt/test2

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/204602.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【LeetCode】每日一题 2023_11_29 无限集中的最小数字（哈希/堆）

【LeetCode】每日一题 2023_11_29 无限集中的最小数字（哈希/堆）

文章目录 刷题前唠嗑题目：无限集中的最小数字题目描述代码与解题思路偷看大佬题解 结语 刷题前唠嗑 LeetCode？启动！！！ 今天的题目也比较的简单，因为数据量不大，所以什么做法都能过的去 题目&a…
阅读更多...
Ruoyi-Vue或者Ruoyi-Cloud登录进去之后的第一个页面如何修改（即如何去掉首页或者如何修改首页）

Ruoyi-Vue或者Ruoyi-Cloud登录进去之后的第一个页面如何修改（即如何去掉首页或者如何修改首页）

其实大家如果看过最近的码云上的issues 就能知道这个问题的答案了。 我这里给出一下链接：https://gitee.com/y_project/RuoYi-Vue/issues/I60JIY 开始 第一步，把router/index.js里面关于首页的路由给注释掉或者删除掉，如图： 第…
阅读更多...
plt创建指定色系

plt创建指定色系

1、创建不连续色系 import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap# 定义颜色的RGB值 colors [(0.2, 0.4, 0.6), # 蓝色(0.8, 0.1, 0.3), # 红色(0.5, 0.7, 0.2),(0.3,0.5,0.8)] # 绿色# 创建色系 cmap ListedColormap(colors)# 绘制…
阅读更多...
化妆品大卖！年轻女孩26天狂赚7000万！

化妆品大卖！年轻女孩26天狂赚7000万！

有个年轻的女孩，我们暂且称之为小美。小美经营着一个美丽的小程序商城，里面销售着各种各样的化妆品、日用百货和小家电。这些产品并非什么稀有品牌，但价格比其他地方要优惠一些，更重要的是，购买产品还能赚到钱。 让我们…
阅读更多...
微信小程序 - 开发版、体验版、正式版共享本地缓存

微信小程序 - 开发版、体验版、正式版共享本地缓存

问题描述 最近突然发现一个大问题啊，小程序切换版本环境的时候发现数据被污染了，瞬间就怀疑不同环境版本的小程序本地缓存是否共享的？！ 果然是！ 解决方案 我们可能马上想到解决方案就是：给每一个环境版本…
阅读更多...
人工智能“排头兵”，探访福州多地 AI 智算实践

人工智能“排头兵”，探访福州多地 AI 智算实践

生成式 AI 在 2023 年再次引爆 IT 技术发展，福建作为数字中国的重要策源地，也是国家数字经济创新发展试验区，在人工智能方面拥有良好的产业基础和人才优势，同时近期出台的《福建省促进人工智能产业发展十条措施》，为福…
阅读更多...
【UE】简单的警觉系统

【UE】简单的警觉系统

效果 步骤 1. 新建一个空白工程，添加第三人称游戏内容包 2. 打开第三人称角色蓝图“BP_ThirdPersonCharacter” 选中弹簧臂组件，将目标臂长度设置为600，z轴方向的插槽偏移设置为100 3. 将“BP_ThirdPersonCharacter”移入场景，该…
阅读更多...
[CustomMessages] section

[CustomMessages] section

[CustomMessages] section用来定义自定义的一些{cm:}常量. 一个定义和使用的例子。 [CustomMessages] CreateDesktopIconCreate a &desktop icon[Tasks] Name: desktopicon; Description: "{cm:CreateDesktopIcon}"CustomMessages是支持带参数的，从…
阅读更多...
U-GAT-IT 使用指南

U-GAT-IT 使用指南

U-GAT-IT 使用指南 网络结构优化目标 论文地址：https://arxiv.org/pdf/1907.10830.pdf 项目代码：https://github.com/taki0112/UGATIT U-GAT-IT 和 Pix2Pix 的区别： U-GAT-IT：主要应用于图像风格转换、图像翻译和图像增强等任务…
阅读更多...
应用场景丨社区建筑结构健康监测系统

应用场景丨社区建筑结构健康监测系统

随着社区的快速发展，社区建筑的结构安全与健康问题日益受到广泛关注。考虑到社区建筑的特点，如人口密集、结构复杂等，建筑结构健康监测系统的应用显得尤为重要。 社区建筑结构健康监测系统的效果 1. 结构安全性提升：通过实时监测…
阅读更多...
跨境电商成拼多多高质量增长奇兵

跨境电商成拼多多高质量增长奇兵

不曾想到，拼多多增长仍如此迅猛。 11月28日，拼多多发布第三季度财报，数据显示，营收688.404亿元，同比增长94%，超过市场预估的548.7亿元；实现美国通用会计准则口径净利润155.37亿元，同…
阅读更多...
java系列：什么是SSH？什么是SSM？SSH框架和SSM框架的区别

java系列：什么是SSH？什么是SSM？SSH框架和SSM框架的区别

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 什么是SSH？什么是SSM？SSH框架和SSM框架的区别 前言一、什么是SSH？1.1 Struts2具体工作流程：Struts2的缺点： 1.2 Sp…
阅读更多...
Linux系统部署Tale个人博客并发布到公网访问

Linux系统部署Tale个人博客并发布到公网访问

文章目录 前言1. Tale网站搭建1.1 检查本地环境1.2 部署Tale个人博客系统1.3 启动Tale服务1.4 访问博客地址 2. Linux安装Cpolar内网穿透3. 创建Tale博客公网地址4. 使用公网地址访问Tale 前言 今天给大家带来一款基于 Java 语言的轻量级博客开源项目——Tale，Tale…
阅读更多...
Pinia仓库统一管理

Pinia仓库统一管理

pinia独立维护 在src/stores文件夹下创建index.js文件，将main.js中关于pinia的语句放到index.js中 index.js文件内容： import { createPinia } from pinia import piniaPluginPersistedstate from pinia-plugin-persistedstate const pinia createPi…
阅读更多...
在Pycharm中创建项目新环境，安装Pytorch

在Pycharm中创建项目新环境，安装Pytorch

在python项目中，很多项目使用的各类包的版本是不一致的。所以我们可以对每个项目有专属于它的环境。所以这个文章就是教你如何创建新环境。 一、创建新环境 首先我们需要去官网下载conda。然后在Pycharm下面添加conda的可执行文件。 用conda创建新环境。 二、…
阅读更多...
C51--DHT11温湿度传感器

C51--DHT11温湿度传感器

DHT11温湿度传感器 DHT11数字温湿度传感器是一款含有已校准数字信号输出的温湿度复合传感器。 特点： 相对温度和湿度测量全部校准，数字输出长期稳定性超长的信号输出距离：20米超低耗能：休眠4引脚安装：可以买封装好的…
阅读更多...
sklearn 笔记：聚类

sklearn 笔记：聚类

1 sklearn各方法比较 方法名称参数使用场景K-means簇的数量 非常大的样本数 中等簇数 簇大小需要均匀 Affinity Propagation 阻尼系数 样本偏好 样本数不能多 簇大小不均 MeanShift带宽 样本数不能多 簇大小均匀 谱聚类簇的数量 中等样本数 小簇数 簇大小均匀 层次聚类簇的数量…
阅读更多...
VS2022使用Vim按键

VS2022使用Vim按键

VS2022使用Vim按键 在插件管理里面搜索VsVim 点击安装，重启VS 工具->选项->VsVim 配置按键由谁处理，建议Ctrl C之类常用的使用VS处理，其它使用Vim处理
阅读更多...
涵盖多种功能，龙讯旷腾Module第二期：电子结构及声子计算

涵盖多种功能，龙讯旷腾Module第二期：电子结构及声子计算

Module是什么 在PWmat的基础功能上，我们针对用户的使用需求开发了一些顶层模块（Module）。这些Module中的一部分是与已有的优秀工具的接口，一部分是以PWmat的计算结果为基础得到实际需要的物理量，一部分则是为特定的计…
阅读更多...
JSON 与 FastJSON

JSON 与 FastJSON

JSON 与 FastJSON JSON JavaScript Object Notation（JavaScript 对象表示法）是目前最常用的执行对象序列化的方式。 虽然 json 最初是为了在 JavaScript 语言中使用的，但实际上 json 本身跟语言没有任何关系，各种编程语言都可以使…
阅读更多...
最新文章

Copyright @ 2022~2023