ELK 日志监控平台（一）- 快速搭建

文章目录

  • ELK 日志监控平台（一）- 快速搭建
    • 1.ELK 简介
    • 2.Elasticsearch安装部署
    • 3.Logstash安装部署
    • 4.Kibana安装部署
    • 5.日志收集DEMO
      • 5.1.创建SpringBoot应用
        • 依赖导入
        • 日志配置文件 logback.xml
        • 启动类
        • 目录结构
        • 启动项目
      • 5.2.创建Logstash配置文件
      • 5.3.重新启动Logstash
      • 5.4.Kibana配置Index
      • 5.5.Kibana查询日志

ELK 日志监控平台（一）- 快速搭建

1.ELK 简介

ELK（Elasticsearch, Logstash, Kibana）是一个目前主流的开源日志监控平台。由三个主要组件组成的：

  • Elasticsearch：是一个开源的分布式搜索和分析引擎，可以用于全文检索、结构化检索和分析，它构建在Lucene搜索引擎库之上，是当前使用较为广泛的开源搜索引擎之一。
  • Logstash：一个用于收集、处理和转发日志数据的数据处理管道。Logstash可以从不同的日志源（如文件、应用程序日志、数据库等）中收集日志数据，并对其进行过滤、解析和转换，然后将其发送到Elasticsearch中进行存储和索引。
  • Kibana：一个用于可视化和分析存储在Elasticsearch中的日志数据的用户界面。Kibana提供了一个直观且功能强大的仪表盘，可以根据特定需求创建各种图表、表格和地图，并进行实时数据可视化和监控。

官网地址：https://www.elastic.co/cn/。

本篇文章重点在于，教你如何快速搭建ELK 日志监控平台，有关详细的使用操作会在后续文章进行讲解。

2.Elasticsearch安装部署

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

在此，鄙人选择 7.17.16 版本，注意此版本号要记好。ELK 的版本最好统一，不然可能会出现版本不兼容的情况。

在这里插入图片描述

选择合适的安装包（本人MACOS系统，其他系统选择对应安装包就行）。

在这里插入图片描述

下载完成后，解压安装包。

在这里插入图片描述

打开终端，进入bin 目录，输入 ./elasticsearch 启动 ES。

cd /elasticsearch-7.17.16/bin
./elasticsearch

在这里插入图片描述

至此ES安装部署完毕。

3.Logstash安装部署

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#logstash

与 Elasticsearch 一致，选择7.17.16版本。

在这里插入图片描述

选择本系统对应的安装包。

在这里插入图片描述

下载完成后，解压安装包。

在这里插入图片描述

打开终端，进入bin 目录，输入./logstash -e "input { stdin {} } output { stdout {} }"启动。

cd /logstash-7.17.16/bin      
./logstash -e "input { stdin {} } output { stdout {} }"

在这里插入图片描述

在控制台输入 hello ，会输出 Logstash 处理后的结果。

在这里插入图片描述

至此Logstash安装部署完毕。

4.Kibana安装部署

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana

与 Elasticsearch 一致，选择7.17.16版本。

在这里插入图片描述

选择与本系统对应的安装包。

在这里插入图片描述

下载完成后，解压安装包。

在这里插入图片描述

打开终端，进入bin 目录，输入./kibana 启动。

cd /kibana-7.17.16/bin      
./kibana

在这里插入图片描述

打开浏览器输入http://localhost:5601/，进入到Kibana界面。

在这里插入图片描述

至此Kibana安装部署完毕。

5.日志收集DEMO

以上完成了ELK的快速搭建。接下来有一个小demo，教你如何利用 ELK 收集日志并查询。

5.1.创建SpringBoot应用

我们先创建一个SpringBoot应用。

依赖导入
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>2.7.12</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.26</version>
        </dependency>
    </dependencies>
日志配置文件 logback.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!--日志文件所在目录-->
    <property name="LOG_HOME" value="../logs/log" />

    <!--采用打印到控制台，记录日志的方式-->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <!--日志输出格式-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- 采用保存到日志文件 记录日志的方式，
    %d{yyyy-MM-dd HH:mm:ss.SSS}：输出日志发生的时间，精确到毫秒。
    [%thread]：输出日志所在的线程名。
    %-5level：输出日志级别，使用占位符%5level可以保持日志级别的对齐。
    %logger{36}：输出日志所在的类名（只输出类名的后36个字符）。
    %msg：输出日志消息。
    %n：新行。
    -->
    <!--滚动记录文件-->
    <appender name="rollingFile" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--日志文件地址-->
        <file>${LOG_HOME}/demoLog.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--粒度：天。等价于一天一个文件-->
            <fileNamePattern>${LOG_HOME}/demoLog-%d{yyyy-MM-dd}.log</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <root level="INFO" additivity="false">
        <appender-ref ref="rollingFile" />
        <appender-ref ref="console" />
    </root>
</configuration>
启动类
@SpringBootApplication
@Slf4j
public class DemoLogApplication implements ApplicationRunner {

    public static void main(String[] args) {
        SpringApplication.run(DemoLogApplication.class,args);
    }

    @Override
    public void run(ApplicationArguments args) throws Exception {
        SimpleDateFormat format = new SimpleDateFormat("hh时mm分ss秒 SSS");
        Random random = new Random();
        while (true){
            TimeUnit.MILLISECONDS.sleep(1000+random.nextInt(1000));
            String format1 = format.format(new Date());
            log.info("测试案例。当前时间：{}",format1);
        }
    }
}
目录结构

在这里插入图片描述

启动项目

在这里插入图片描述

5.2.创建Logstash配置文件

进入Logstash的config目录，创建一个名为 demoLog.conf 文件

在这里插入图片描述

文件内容如下：

input {
  file {
    path => ".../logs/log/demoLog.log"
    start_position => "beginning"
    stat_interval => "3"
    type => "demo_log"
  }
}

output {
   if [type] == "demo_log" {
     elasticsearch {
       hosts => ["http://127.0.0.1:9200"]
       index => "demo_log-%{+YYYY.MM.dd}"
    }
  }
}

属性说明：

  • input：指定Logstash接收数据的输入插件，使用file插件作为输入。file插件用于读取并处理文件中的数据。

    • file：指定使用的输入插件是file插件。

    • path：指定要读取的文件路径。

    • start_position：指定从文件的哪个位置开始读取数据。设置为"beginning"表示从文件的开始位置开始读取数据

    • stat_interval：指定文件的状态检查间隔（以秒为单位）。设置为"3"表示每隔3秒检查一次文件状态，以判断是否有新数据。

    • type：指定数据的类型名称。设置为"nginx-access-log"表示数据的类型是Nginx访问日志。

  • output：指定Logstash处理完数据后的输出插件。使用elasticsearch插件将处理后的日志数据发送到Elasticsearch。

    • type：指定数据的类型名称。
    • elasticsearch：指定使用的输出插件是elasticsearch插件。
      • hosts：指定Elasticsearch集群的主机地址。Logstash将处理后的数据发送到位于"192.168.140.100"主机上，HTTP端口9200的ES节点
      • index：指定数据在Elasticsearch中的索引名称，比如【 filebeat-8.4.1-2023.07.02 】使用[@metadata][version]字段和当前日期来构建索引名称 可以根据采集数据的来源和版本动态创建索引。

5.3.重新启动Logstash

输入以下命令：

./logstash -f ../config/demo_log.conf

在这里插入图片描述

5.4.Kibana配置Index

进入Stack Management，选择索引管理，可以看到我们配置的日志文件。

在这里插入图片描述

创建索引模式

在这里插入图片描述

输入索引模式名称，其实相当于检索索引的正则表达式。

在这里插入图片描述

5.5.Kibana查询日志

进入Discover，即可检索日志信息。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/634955.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

锁相环的一些学习笔记--（1）

锁相环的一些学习笔记--（1）

下图两组1.2.3可以对应起来&#xff1b; 参考资料&#xff1a; 1. Matlab https://www.bilibili.com/video/BV1bR4y1Z7Xg/?spm_id_from333.1296.top_right_bar_window_history.content.click&vd_source5556680656536651c49f5e55d7d4df23 2. https://www.bilibili.com/…
阅读更多...
Hadoop开发之JavaAPI操作HDFS

Hadoop开发之JavaAPI操作HDFS

目录 一、maven的安装与配置1.maven的下载2.maven的安装与配置&#xff08;1&#xff09;解压&#xff08;2&#xff09;创建本地仓库文件夹&#xff08;3&#xff09;修改settings.xml配置文件&#xff08;4&#xff09;配置maven的环境变量&#xff08;5&#xff09;idea中ma…
阅读更多...
将list对象里的某一个属性取出组成一个新的list

将list对象里的某一个属性取出组成一个新的list

使用Java8将对象里的某一个属性取出组成一个新的list List<Spgg1> listnew ArrayList<>();Spgg1 spgg1new Spgg1();spgg1.setSpdm("测试");spgg1.setGgdm("001");list.add(spgg1);Spgg1 spgg2new Spgg1();spgg2.setSpdm("测试2");sp…
阅读更多...
不用从头训练，通过知识融合创建强大的统一模型

不用从头训练，通过知识融合创建强大的统一模型

在自然语言处理&#xff08;NLP&#xff09;领域&#xff0c;大型语言模型&#xff08;LLMs&#xff09;的开发和训练是一个复杂且成本高昂的过程。数据需求是一个主要问题&#xff0c;因为训练这些模型需要大量的标注数据来保证其准确性和泛化能力&#xff1b;计算资源也是一个…
阅读更多...
基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

作者&#xff1a;左知 超算场景的业务特点 主机监控&#xff0c;或许是监控/可观测领域最传统和普遍的需求。在超算训练&#xff0c;AI 大规模训练的业务场景下&#xff0c;主机监控又有哪些痛点和难点呢&#xff1f;根据我们针对多个大规模超算客户的需求整理&#xff0c;超…
阅读更多...
LeetCode：柱状图中最大的矩形

LeetCode：柱状图中最大的矩形

文章收录于LeetCode专栏 LeetCode地址 柱状图中最大的矩形 题目 给定 n 个非负整数&#xff0c;用来表示柱状图中各个柱子的高度。每个柱子彼此相邻&#xff0c;且宽度为 1 。求在该柱状图中&#xff0c;能够勾勒出来的矩形的最大面积。 示例1 **输入&#xff1a;**heights …
阅读更多...
FastAPI单元测试：使用TestClient轻松测试你的API

FastAPI单元测试：使用TestClient轻松测试你的API

当使用FastAPI进行单元测试时&#xff0c;一个重要的工具是TestClient类。TestClient类允许我们模拟对FastAPI应用程序的HTTP请求&#xff0c;并测试应用程序的响应。这使我们能够在不启动服务器的情况下对API进行全面的测试。 下面我将详细讲解TestClient的使用方法和常见操作…
阅读更多...
empirecms 文件上传 （CVE-2018-18086）

empirecms 文件上传 （CVE-2018-18086）

漏洞环境&#xff1a;vulfocus 到管理后台 使用用户名密码&#xff1a;admin:123456登录&#xff0c;然后到后台找到文件上传点 发现需要后缀名为.mod 创建生成一句话木马的php脚本&#xff0c;并添加.mod后缀名&#xff0c;然后提交 <?php file_put_contents("shell…
阅读更多...
攻防世界---web---warmup

攻防世界---web---warmup

1、题目描述 2、查看源码&#xff0c;发现有个source.php 3、访问该文件&#xff0c;得到这一串代码 4、分析代码 5、访问hint.php&#xff0c;提示flag在ffffllllaaaagggg这个文件下 6、构造payload ?filesource.php?/../../../../../../ffffllllaaaagggg
阅读更多...
网络性能与流量监控：优化企业网络管理的关键策略

网络性能与流量监控：优化企业网络管理的关键策略

目录 网络性能监控的重要性 1. 提高网络可靠性 2. 优化网络资源使用 3. 提升用户体验 网络流量监控的必要性 1. 识别异常流量 2. 改善网络管理 3. 确保合规性 AnaTraf网络流量分析仪&#xff1a;提升网络监控效率的利器 如何实施有效的网络监控策略 1. 确定监控目标…
阅读更多...
php发送短信功能（创蓝短信）

php发送短信功能（创蓝短信）

一、以下是创蓝发送短信的功能&#xff0c;可以直接执行&#xff1a; <?php$phone 12312312312;$msg 测试短信功能;echo 发送手机号&#xff1a;.$phone.<br/>;echo 发送内容&#xff1a;.$msg.<br/>;$send sendMessage($phone, $msg);var_dump($send);…
阅读更多...
2024电工杯数学建模 - 案例：最短时间生产计划安排

2024电工杯数学建模 - 案例：最短时间生产计划安排

# 前言 2024电工杯(中国电机工程学会杯)数学建模思路解析 最新思路更新(看最新发布的文章即可): https://blog.csdn.net/dc_sinor/article/details/138726153 最短时间生产计划模型 该模型出现在好几个竞赛赛题上&#xff0c;预测2022今年国赛也会与该模型相关。 1 模型描…
阅读更多...
BUUCTF---misc---我吃三明治

BUUCTF---misc---我吃三明治

1、下载附件是一张图片 2、在winhex分析&#xff0c;看到一串整齐的编码有点可疑&#xff0c;保存下来&#xff0c;拿去解码&#xff0c;发现解不了&#xff0c;看来思路不对 3、再仔细往下看的时候也发现了一处这样的编码&#xff0c;但是这次编码后面多了一段base编码 4、拿去…
阅读更多...
抖音小店什么产品最好卖？六月份的必爆产品！商家抓紧上架！

抖音小店什么产品最好卖？六月份的必爆产品！商家抓紧上架！

哈喽~我是电商月月 做抖音小店&#xff0c;爆款是非常吃香的&#xff0c;但普通玩家只有在爆款出来的那几天才能发现&#xff0c;再去截流&#xff0c;其实热度已经不高了&#xff0c;那想吃到这一口“螃蟹”只能自己去挖掘 每年爆的产品就是那几种&#xff0c;我们可以朝这几…
阅读更多...
java自学阶段二:JavaWeb开发--day04（Maven学习）

java自学阶段二:JavaWeb开发--day04（Maven学习）

day04学习笔记 一、学习目标 1.了解maven的基础概念&#xff1b; 2.学会maven的部署&#xff1b; 3.maven的作用&#xff1a;标准化&#xff1b;方便找依赖 maven就是一个开源项目&#xff0c;专门用来管理和构建Java项目的&#xff1b;我们自己写的项目结构可能会千奇百怪&am…
阅读更多...
OpenAI 与 Reddit 达成重要合作伙伴关系

OpenAI 与 Reddit 达成重要合作伙伴关系

Reddit是一个娱乐、社交及新闻网站&#xff0c;注册用户可以将文字或链接在网站上发布&#xff0c;使它基本上成为了一个电子布告栏系统。注册用户可以对这些帖子进行投票&#xff0c;结果将被用来进行排名和决定它在首页或子页的位置。网站上的内容分类被称为“subreddit”。s…
阅读更多...
列表的创建和删除

列表的创建和删除

目录 使用赋值运算符直接创建列表 创建空列表 创建数值列表 删除列表 自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501\ 对于歌曲列表大家一定很熟悉&#xff0c;在列表中记录着要播放的歌曲名称…
阅读更多...
ROS 手眼标定 realsense435+ur5e

ROS 手眼标定 realsense435+ur5e

手眼标定的原理 基坐标系&#xff08;base_tree&#xff09;和相机&#xff08;camera_tree&#xff09;两个坐标系属于不同的tree&#xff0c;通过将标签贴到手上&#xff0c;相机识别出标签的position和orention&#xff0c;并通过easy_handeye标定包得到tool0(机械手)&…
阅读更多...
Docker 部署Jenkins

Docker 部署Jenkins

1、运行镜像 docker run --namejenkins \--restartalways \--privilegedtrue \-u root \-p 8080:8080 \-p 50000:50000 \-v /home/docker/jenkins/jenkins_home:/var/jenkins_home \-v /usr/bin/docker:/usr/bin/docker \-v /var/run/docker.sock:/var/run/docker.sock \-e TZ…
阅读更多...
Java面试八股之有哪些线程安全的集合类

Java面试八股之有哪些线程安全的集合类

Java中有哪些线程安全的集合类 在Java中&#xff0c;并非所有的集合类都是线程安全的&#xff0c;但在多线程环境下&#xff0c;确保集合操作的线程安全性至关重要。以下是几个典型的线程安全集合类&#xff1a; Vector: 类似于ArrayList&#xff0c;但它是线程安全的。它通过…
阅读更多...
最新文章

Copyright @ 2022~2023