k8s学习--k8s群集ELK日志收集部署最详细的过程与应用(收集k8s群集日志)(图形化界面手把手教学)

文章目录

    • Filebeat
      • Filebeat主要特点
      • Filebeat使用场景
  • ELK简介
    • Elasticsearch简介
      • Elasticsearch主要特点
      • Elasticsearch使用场景
    • Logstash简介
      • Logstash主要特点
      • Logstash使用场景
    • Kibana简介
      • Kibana主要特点
      • Kibana使用场景
    • 简单理解
  • 环境
    • 一、ELK集群部署
      • 1.软件安装
      • 2.软件配置及启动
        • (1).kibana软件配置及启动
        • (2).elasticsearch软件配置及启动
        • (3).logstash软件配置及启动
        • (4).kibana访问
        • (5).编写logstash用于收集日志配置文件
        • (6).运行logstash
    • 二、收集k8s集群节点系统日志
      • 1.下载filebeat镜像
      • 2.创建filebeat资源清单文件
      • 3.应用filebeat资源清单文件
      • 4.验证结果
      • 5.在kibana中添加索引

本次部署的应用有Filebeat+ELK，让我们先简单了解一下

Filebeat

Filebeat 是一个轻量级的日志数据发送器，作为 ELK 堆栈的一个组件，主要用于从各种来源收集日志数据并将其发送到 Logstash 或 Elasticsearch。它是 Elastic Stack 中 Beats 产品家族的一部分。

Filebeat主要特点

轻量级：
Filebeat 设计简单，资源占用低，非常适合部署在边缘节点或资源受限的环境中。

多种输入源：
Filebeat 支持从文件、Docker 日志、容器日志、系统日志等多种来源收集日志数据。

日志传输：
Filebeat 可以将收集到的日志数据发送到多个目标，包括 Logstash、Elasticsearch、Kafka 等。

日志处理：
Filebeat 具有基本的日志处理能力，可以通过模块化的方式实现常见的日志解析和处理。

可靠性：
具有保证至少一次传递的能力，确保日志数据在传输过程中不会丢失。

模块化：
Filebeat 提供了一系列预配置的模块，用于处理常见的日志格式，如 Nginx、Apache、MySQL、系统日志等。

Filebeat使用场景

集中式日志管理： 在分布式系统中集中收集各个节点的日志。
实时日志分析： 通过 Filebeat 将日志数据实时发送到 Elasticsearch，进行实时搜索和分析。
监控和报警： 结合 ELK 堆栈，实现日志数据的实时监控和报警。

ELK简介

ELK 是 Elasticsearch、Logstash 和 Kibana 三个开源工具的组合，常用于数据搜索、日志管理和数据可视化

Elasticsearch简介

Elasticsearch 是一个分布式搜索和分析引擎，基于 Apache Lucene 构建，主要用于存储、搜索和分析大量数据。

Elasticsearch主要特点

实时搜索和分析： 支持实时的数据存储和检索。
分布式： 能够在多个节点上分布数据，提供高可用性和扩展性。
全文搜索： 支持复杂的查询语法，能够进行高效的全文搜索。
RESTful API： 通过 RESTful API 进行数据操作，便于集成和扩展。

Elasticsearch使用场景

日志和事件数据分析： 集中管理和分析日志数据。
全文搜索： 如网站的搜索功能。
监控和报警： 实时监控数据变化并触发报警。

Logstash简介

Logstash 是一个数据收集引擎，能够从多个来源收集数据，进行过滤和转换，然后将数据发送到存储引擎（如 Elasticsearch）。

Logstash主要特点

数据收集： 支持从多种数据源（如文件、数据库、消息队列等）收集数据。
数据处理： 通过过滤器对数据进行处理和转换，如解析日志格式、添加字段等。
数据输出： 将处理后的数据发送到多个目标（如 Elasticsearch、文件、数据库等）。

Logstash使用场景

日志收集和处理： 收集和处理分布在不同系统和应用中的日志。
数据转换： 对原始数据进行格式转换、过滤和增强。

Kibana简介

Kibana 是一个数据可视化和分析平台，专为与 Elasticsearch 一起使用而设计。它提供强大的图形界面，帮助用户进行数据分析和可视化。

Kibana主要特点

**数据可视化：**通过图表、地图、表格等方式展示数据。
**仪表盘：**创建和共享动态仪表盘，实时监控数据变化。
**查询和分析：**通过简单的界面进行数据查询和分析。

Kibana使用场景

日志分析： 可视化分析日志数据，快速发现问题。
业务监控： 创建业务指标的实时监控仪表盘。
安全分析： 用于安全信息和事件管理（SIEM）解决方案。

简单理解

看不懂上面的，没关系，看懂下面就行
Filebeat: 部署在个节点,收集日志
Logstash: 过滤，格式化日志
Elasticsearch: 存储、搜索、分析日志
Kibana: 图形化界面，展示日志、监控系统状态

环境

虚拟机

Ip主机名cpu内存硬盘
192.168.10.11master012cpu双核4G100G
192.168.10.12worker012cpu双核4G100G
192.168.10.13worker022cpu双核4G100G
192.168.10.17ELK1cpu双核4G40G

版本 centos7.9
已部署k8s-1.27

注:如果有条件，可以ELK分别放在三台主机上,我这里是资源有限,所以才全放在一台主机上了

一、ELK集群部署

elk主机部署

1.软件安装

安装jdk
可考虑使用openjdk也可以使用oracle jdk

yum -y install java-11-openjdk

安装kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.2-x86_64.rpm
yum -y install kibana-7.17.2-x86_64.rpm

安装elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.2-x86_64.rpm
yum -y install elasticsearch-7.17.2-x86_64.rpm

安装logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.2-x86_64.rpm
yum -y install logstash-7.17.2-x86_64.rpm

2.软件配置及启动

(1).kibana软件配置及启动
vim /etc/kibana/kibana.yml

修改如下内容
行号 + 修改后的结果
有的只需要去#号即可
有的不需要更改

     2  server.port: 5601
     7  server.host: "192.168.10.17"
    32  elasticsearch.hosts: ["http://192.168.10.17:9200"]
   115  i18n.locale: "zh-CN"

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
说明：
server.port 是开启kibana监听端口
server.host 设置远程连接主机IP地址，用于远程访问使用
elasticsearch.hosts 设置elasticsearch.hosts主机IP，用于连接elasticsearch主机，可以为多个值
i18n.locale 设置语言支持，不需要再汉化，直接修改后即可支持中文

启动服务并验证

systemctl enable kibana
systemctl start kibana
ss -anput | grep ":5601"

在这里插入图片描述

(2).elasticsearch软件配置及启动
vim  /etc/elasticsearch/elasticsearch.yml

同上

    17  cluster.name: k8s-elastic
    23  node.name: elastic
    33  path.data: /var/lib/elasticsearch
    37  path.logs: /var/log/elasticsearch
    56  network.host: 192.168.10.17
    61  http.port: 9200
    70  discovery.seed_hosts: ["192.168.10.17"]
    74  cluster.initial_master_nodes: ["192.168.10.17"]

在这里插入图片描述
在这里插入图片描述
说明
cluster.name 集群名称
node.name 节点名称
path.data 数据目录
path.logs 日志目录
network.host 主机IP
http.port 监听端口
discovery.seed_hosts 主机发现列表
cluster.initial_master_nodes 集群master节点

启动服务并验证

systemctl enable elasticsearch
systemctl start elasticsearch
ss -anput | grep ":9200"

在这里插入图片描述

curl http://192.168.10.17:9200

在这里插入图片描述

(3).logstash软件配置及启动
vim /etc/logstash/logstash.yml

同上

    19  node.name: logstash
    28  path.data: /var/lib/logstash
   133  api.http.host: 192.168.10.17
   139  api.http.port: 9600-9700
   280  path.logs: /var/log/logstash

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动服务
logstash进程不用预先启动，使用时启动即可
现在先不启动

验证logstash可用性

/usr/share/logstash/bin/logstash -e 'input {stdin{} } output {stdout {} }'

在这里插入图片描述
输入abc,查看输出内容

abc

在这里插入图片描述
ctrl +c 退出

使用logstash输入内容到elasticsearch验证

/usr/share/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.10.17:9200"] index => "logstash-%{+YYYY.MM.dd}" } }'

输入

hello elasticsearch

此内容将会通过kibana页面中的索引看到，但是需要在kibana页面中添加索引
在这里插入图片描述

(4).kibana访问

宿主机浏览器访问
192.168.10.17:5601

在欢迎界面选择自己浏览后会进入主界面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

(5).编写logstash用于收集日志配置文件

通过filebeat进行收集

vim /etc/logstash/conf.d/logstash-to-elastic.conf

input {
  beats {
    host => "0.0.0.0"
    port => "5044"
  }
}

filter {

}


output {
    elasticsearch {
      hosts => "192.168.10.17:9200"
      index => "k8s-%{+YYYY.MM.dd}"
    }
}
(6).运行logstash

如果不涉及多个配置文件，可以直接使用systemctl start logstash;如果有多个配置文件，只想启动一个配置文件，可以使用如下方法。
直接在后台运行

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/logstash-to-elastic.conf --path.data /usr/share/logstash/data1 &

不输出内容后按两下回车
在这里插入图片描述
看看端口

netstat -lntp | grep :5044

在这里插入图片描述

二、收集k8s集群节点系统日志

通过在work节点以DaemonSet方法运行filebeat应用实现

1.下载filebeat镜像

所有worker节点
下载filebeat镜像

docker pull elastic/filebeat:7.17.2
docker images

在这里插入图片描述
master节点

2.创建filebeat资源清单文件

vim filebeat-to-logstash.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: k8s-logs-filebeat-config
  namespace: kube-system

data:
  filebeat.yml: |
    filebeat.inputs:
      - type: log
        paths:
          - /var/log/messages
        fields:
          app: k8s
          type: module
        fields_under_root: true

    setup.ilm.enabled: false
    setup.template.name: "k8s-module"
    setup.template.pattern: "k8s-module-*"

    output.logstash:
      hosts: ['192.168.10.17:5044']
      index: "k8s-module-%{+yyyy.MM.dd}"

---

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: k8s-logs
  namespace: kube-system
spec:
  selector:
    matchLabels:
      project: k8s
      app: filebeat
  template:
    metadata:
      labels:
        project: k8s
        app: filebeat
    spec:
      containers:
      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
          limits:
            cpu: 500m
            memory: 500Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: k8s-logs
          mountPath: /var/log/messages
      volumes:
      - name: k8s-logs
        hostPath:
          path: /var/log/messages
      - name: filebeat-config
        configMap:
          name: k8s-logs-filebeat-config

3.应用filebeat资源清单文件

kubectl apply -f filebeat-to-logstash.yaml

4.验证结果

kubectl get pod -n kube-system -o wide

在这里插入图片描述

5.在kibana中添加索引

宿主机浏览器访问192.168.10.17:5601
web页面操作
基本和上次一样
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
现在就能看到日志了
这是系统日志
后面还会写怎么看应用程序的日志
以及容器内部署的应用程序日志

写完已经快噶了
应该会隔一天
如果对您有帮助可以点下关注

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/767827.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Gitlab代码管理工具安装配置

Gitlab代码管理工具安装配置

前言： 没有真正的证书与域名建议使用httpip的方式在内网使用，不建议使用假的域名地址 一、安装前配置 #更改主机域名 hostnamectl set-hostname gitlab.dome.com bash #配置hosts 底部添加下面内容 vim /etc/hosts ############################ ip gi…
阅读更多...
软件功能测试基础知识大揭秘，功能测试报告就找专业软件测评机构

软件功能测试基础知识大揭秘，功能测试报告就找专业软件测评机构

软件功能测试是以软件产品的需求规格为基础，通过对软件功能的逐个测试，验证软件是否符合需求规格，是否能够正常执行各项功能操作。对于软件产品而言，功能测试是一项至关重要的工作，它能够发现软件中存在的功能缺陷、错…
阅读更多...
104.二叉树的最大深度

104.二叉树的最大深度

给定一个二叉树 root ，返回其最大深度。 二叉树的 最大深度 是指从根节点到最远叶子节点的最长路径上的节点数。 示例 1： 输入：root [3,9,20,null,null,15,7] 输出：3 示例 2： 输入：root [1,null,2] 输出…
阅读更多...
10、matlab中字符、数字、矩阵、字符串和元胞合并为字符串并将字符串以不同格式写入读出excel

10、matlab中字符、数字、矩阵、字符串和元胞合并为字符串并将字符串以不同格式写入读出excel

1、前言 在 MATLAB 中，可以使用不同的数据类型（字符、数字、矩阵、字符串和元胞）合并为字符串，然后将字符串以不同格式写入 Excel 文件。 以下是一个示例代码，展示如何将不同数据类型合并为字符串，并以不…
阅读更多...
以智领航 鸿翼助力企业构筑智能化知识管理体系

以智领航 鸿翼助力企业构筑智能化知识管理体系

全面智能化时代，鸿翼倾力打造“知识管理人工智能”的深度融合之作——鸿翼KM知识管理，植根非结构化数据治理全生命周期，打造出智能高效的知识管理体系，助推企业数智化转型落地。 数字化时代的知识管理 文档是现代企业运行与管理的…
阅读更多...
springboot大学生请假管理系统-计算机毕业设计源码17453

springboot大学生请假管理系统-计算机毕业设计源码17453

摘 要 从20年代开始，计算机疯狂的出现在人们的生活以及工作当中，成为人们生活、工作的好帮手，计算机深入到每家每户当中，网络办公，网络教学更是替换了传统手工记录管理的方式，使用计算机办公可以不必局限于…
阅读更多...
Vue3轻松创建交互式仪表盘

Vue3轻松创建交互式仪表盘

本文由ScriptEcho平台提供技术支持 项目地址：传送门 基于 Plotly.js 的 Vue 仪表盘组件 应用场景介绍 仪表盘是一种交互式可视化工具，用于监控和分析关键指标。它广泛应用于各种行业，例如金融、医疗保健和制造业。 代码基本功能介绍 本…
阅读更多...
linux快捷键

linux快捷键

快捷键 ctrl c 强制停止ctrl d 退出登录history 查看历史命令！命令前缀，自动匹配上一个命令ctrl r 搜索历史命令ctrl a | e 光标移动到命令开始或结束ctrl 左箭头 | 右箭头 左右跳单词ctrl | 或者 clear 清屏 ！命令前缀 例如这里之前…
阅读更多...
德旺训练营称重问题

德旺训练营称重问题

这是考小学的分治策略，小学的分治策略几乎都是分三组。本着这个策略，我们做看看。 第一次称重： 分三组，16,16,17，拿两个16称，得到A情况，一样重，那么假铜钱在那组17个里面。B情况不…
阅读更多...
3d打开模型的时候怎么没有灯光？---模大狮模型网

3d打开模型的时候怎么没有灯光？---模大狮模型网

在3D建模与渲染过程中，灯光是至关重要的元素之一，直接影响到最终场景的视觉效果和真实感。然而，有时打开3D模型时可能会发现缺乏适当的灯光设置，这会导致场景显得暗淡或平淡无奇。本文将探讨为何在打开3D模型时可能没有灯光的原因…
阅读更多...
AI时代的产品经理的成长指南_pdca循环理论制定ai学习成长计划

AI时代的产品经理的成长指南_pdca循环理论制定ai学习成长计划

一、人人不都是产品经理 大多数人听到“产品经理”这个词，总会联想到“人人都是产品经理”这句话。但实际上产品经理这个岗位并没有那么简单。 用一句话概括产品经理的职责就是“帮助团队交付正确产品给用户的人”。也就是说，产品经理要能凝聚团队的力…
阅读更多...
在线JSON可视化工具--改进

在线JSON可视化工具--改进

先前发布了JSON格式化可视化在线工具，提供图形化界面显示结构关系功能，并提供JSON快速格式化、JSON压缩、快捷复制、下载导出、对存在语法错误的地方能明确显示，而且还支持全屏，极大扩大视野区域。 在线JSON格式化可视化工具 但…
阅读更多...
C语言版，链表头插法与尾插法

C语言版，链表头插法与尾插法

最近又开始看数据结构与算法，看到这个头插法还真的是头插法，头都搞疼了，略微理解了一些。尾插法还好一些，比较好理解，但是如果深入理解还是可以理解。 头插法核心代码： head->next NULL; s->next h…
阅读更多...
windows重装系统

windows重装系统

一、下载Ventoy工具，制作启动盘 官网地址：https://www.ventoy.net/cn/download.html 电脑插入用来制作系统盘的U盘，建议大小在8G以上。 双击打开刚解压出来的Ventoy2Disk.exe文件。打开界面如图： 确认U盘，如图&am…
阅读更多...
java常用类(3)

java常用类(3)

目录 一. 正则表达式 二. Math类 三. Random类 四. Date类 五. Calendar类 六. SimpDateFormate类 七. BigInteger类 八. BigDecimal类 一. 正则表达式 正则表达式(Regular Expression)就是用一些特殊的符号去匹配一个字符串是否符合规则,利用String类中的matches()方…
阅读更多...
3D Gaussian Splatting代码中的train和render两个文件代码解读

3D Gaussian Splatting代码中的train和render两个文件代码解读

现在来聊一聊训练和渲染是如何进行的 training train.py line 31 def training(dataset, opt, pipe, testing_iterations, saving_iterations, checkpoint_iterations, checkpoint, debug_from):# 初始化第一次迭代的索引为0first_iter 0# 准备输出和日志记录器tb_writer p…
阅读更多...
滚珠花键促进汽车产业整体升级与发展！

滚珠花键促进汽车产业整体升级与发展！

滚珠花键能够实现高效的传动和连接，确保物体在运动过程中的精确位置和稳定性，被广泛应用于机械制造、航空航天、工业自动化、工业汽车、工业机器人、高速铁路等领域。为各个行业的发展提供了重要支持，尤其是在工业汽车领域中，为我…
阅读更多...
数据库管理系统中的磁盘、文件、页和记录管理

数据库管理系统中的磁盘、文件、页和记录管理

1. 引言 数据库管理系统（DBMS）是一个复杂的软件系统，用于管理和操作数据库中的数据。DBMS需要有效地在磁盘和内存之间组织和管理数据，以确保高效的数据存储和检索。本文将详细介绍DBMS中关于磁盘、文件、页和记录的管理&#xff…
阅读更多...
关于电子画册的制作方法

关于电子画册的制作方法

在这个数字化飞速发展的时代，电子画册以其便捷的分享方式和环保的理念，逐渐成为艺术家和设计师的新宠。如果你也想将自己的作品集或品牌故事以电子画册的形式呈现，那么就跟随我们的脚步，一起探索电子画册的制作方法吧！…
阅读更多...
鸿蒙开发设备管理：【@ohos.runningLock (Runninglock锁)】

鸿蒙开发设备管理：【@ohos.runningLock (Runninglock锁)】

Runninglock锁 该模块主要提供Runninglock锁相关操作的接口，包括创建、查询、持锁、释放锁等操作。 说明： 本模块首批接口从API version 7开始支持。后续版本的新增接口，采用上角标单独标记接口的起始版本。 导入模块 import runningLock f…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站