使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统

        随着时间的积累，日志数据会越来越多，当您需要查看并分析庞杂的日志数据时，可通过Filebeat+Kafka+Logstash+Elasticsearch采集日志数据到Elasticsearch中，并通过Kibana进行可视化展示与分析。本文介绍具体的实现方法。

一、背景信息

Kafka是一种分布式、高吞吐、可扩展的消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。

在实际应用场景中，为了满足大数据实时检索的需求，您可以使用Filebeat采集日志数据，并输出到Kafka中。Kafka实时接收Filebeat采集的数据，并输出到Logstash中。输出到Logstash中的数据在格式或内容上可能不能满足您的需求，此时可以通过Logstash的filter插件过滤数据。最后将满足需求的数据输出到Elasticsearch中进行分布式检索，并通过Kibana进行数据分析与展示。简单流程如下。

流程图

二、操作流程

1、准备工作

完成环境准备，包括创建Elasticsearch、Logstash、ECS和消息队列 Kafka 版实例、创建Topic和Consumer Group等。

2、步骤一：安装并配置Filebeat

  安装并配置Filebeat，设置input为系统日志，output为Kafka，将日志数据采集到Kafka的指定Topic中。

3、步骤二：配置Logstash管道

配置Logstash管道的input为Kafka，output为阿里云Elasticsearch，使用Logstash消费Topic中的数据并传输到阿里云Elasticsearch中。

4、步骤三：查看日志消费状态

在消息队列Kafka中查看日志数据的消费的状态，验证日志数据是否采集成功。

5、步骤四：通过Kibana过滤日志数据

在Kibana控制台的Discover页面，通过Filter过滤出Kafka相关的日志。

三、步骤一：安装并配置Filebeat

  1. 连接ECS服务器。

  2. 安装Filebeat。

    ​本文以6.8.5版本为例，安装命令如下，详细信息请参见Install Filebeat。

    curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.8.5-linux-x86_64.tar.gz
tar xzvf filebeat-6.8.5-linux-x86_64.tar.gz

  3. 执行以下命令，进入Filebeat安装目录，创建并配置filebeat.kafka.yml文件。

    cd filebeat-6.8.5-linux-x86_64
vi filebeat.kafka.yml

    filebeat.kafka.yml配置如下。

    filebeat.prospectors:
  - type: log
    enabled: true
    paths:
        - /var/log/*.log

output.kafka:
    hosts: ["alikafka-post-cn-zvp2n4v7****-1-vpc.alikafka.aliyuncs.com:9092"]
    topic: estest
    version: 0.10.2

    重要

    当Filebeat为7.0及以上版本时，filebeat.prospectors需要替换为filebeat.inputs。

    参数

    说明

    type

    输入类型。设置为log，表示输入源为日志。

    enabled

    设置配置是否生效：

    • true：生效

    • false：不生效

    paths

    需要监控的日志文件的路径。多个日志可在当前路径下另起一行写入日志文件路径。

    hosts

    消息队列Kafka实例的单个接入点，可在实例详情页面获取，详情请参见查看接入点。由于本文使用的是VPC实例，因此使用默认接入点中的任意一个接入点。

    topic

    日志输出到消息队列Kafka的Topic，请指定为您已创建的Topic。

    version

    Kafka的版本，可在消息队列Kafka的实例详情页面获取。

    重要

    • 不配置此参数会报错。

    • 由于不同版本的Filebeat支持的Kafka版本不同，例如8.2及以上版本的Filebeat支持的Kafka版本为2.2.0，因此version需要设置为Filebeat支持的Kafka版本，否则会出现类似报错：Exiting: error initializing publisher: unknown/unsupported kafka vesion '2.2.0' accessing 'output.kafka.version' (source:'filebeat.kafka.yml')，详细信息请参见version。

  4. 启动Filebeat。

    ./filebeat -e -c filebeat.kafka.yml

四、步骤二：配置Logstash管道

  1. 进入阿里云Elasticsearch控制台的Logstash页面。
  2. 进入目标实例。
    1. 在顶部菜单栏处，选择地域。
    2. 在Logstash实例中单击目标实例ID。

  3. 在左侧导航栏，单击管道管理。

  4. 单击创建管道。

  5. 在创建管道任务页面，输入管道ID并配置管道。

    本文使用的管道配置如下。

    input {
  kafka {
    bootstrap_servers => ["alikafka-post-cn-zvp2n4v7****-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7****-2-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7****-3-vpc.alikafka.aliyuncs.com:9092"]
    group_id => "es-test"
    topics => ["estest"]
    codec => json
 }
}
filter {

}
output {
  elasticsearch {
    hosts => "http://es-cn-n6w1o1x0w001c****.elasticsearch.aliyuncs.com:9200"
    user =>"elastic"
    password =>"<your_password>"
    index => "kafka‐%{+YYYY.MM.dd}"
 }
}
    表 1. input参数说明

    参数

    说明

    bootstrap_servers

    消息队列Kafka实例的接入点，可在实例详情页面获取，详情请参见查看接入点。由于本文使用的是VPC实例，因此使用默认接入点。

    group_id

    指定为您已创建的Consumer Group的名称。

    topics

    指定为您已创建的Topic的名称，需要与Filebeat中配置的Topic名称保持一致。

    codec

    设置为json，表示解析JSON格式的字段，便于在Kibana中分析。

    表 2. output参数说明

    参数

    说明

    hosts

    阿里云Elasticsearch的访问地址，取值为http://<阿里云Elasticsearch实例的私网地址>:9200。

    说明

    您可在阿里云Elasticsearch实例的基本信息页面获取其私网地址，详情请参见查看实例的基本信息。

    user

    访问阿里云Elasticsearch的用户名，默认为elastic。您也可以使用自建用户，详情请参见通过Elasticsearch X-Pack角色管理实现用户权限管控。

    password

    访问阿里云Elasticsearch的密码，在创建实例时设置。如果忘记密码，可进行重置，重置密码的注意事项及操作步骤请参见重置实例访问密码。

    index

    索引名称。设置为kafka‐%{+YYYY.MM.dd}表示索引名称以kafka为前缀，以日期为后缀，例如kafka-2020.05.27。

    更多Config配置详情请参见Logstash配置文件说明。

    如果您有多topic的数据同步需求，需要在kafka中添加新的topic，然后在Logstash的管道配置中添加input。示例如下：

    input {
 kafka {
  bootstrap_servers => ["alikafka-post-cn-zvp2n4v7****-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7****-2-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7****-3-vpc.alikafka.aliyuncs.com:9092"]
  group_id => "es-test"
  topics => ["estest"]
  codec => json
}

kafka {
  bootstrap_servers => ["alikafka-post-cn-zvp2n4v7****-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7****-2-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7****-3-vpc.alikafka.aliyuncs.com:9092"]
  group_id => "es-test-2"
  topics => ["estest_2"]
  codec => json
}
}

  6. 单击下一步，配置管道参数。

    管道参数配置

    参数

    说明

    管道工作线程

    并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。

    管道批大小

    单个工作线程在尝试执行Filter和Output前，可以从Input收集的最大事件数目。较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量，来增大JVM堆大小，从而有效使用该值。默认值：125。

    管道批延迟

    创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。

    队列类型

    用于事件缓冲的内部排队模型。可选值：

    • MEMORY：默认值。基于内存的传统队列。

    • PERSISTED：基于磁盘的ACKed队列（持久队列）。

    队列最大字节数

    请确保该值小于您的磁盘总容量。默认值：1024 MB。

    队列检查点写入数

    启用持久性队列时，在强制执行检查点之前已写入事件的最大数目。设置为0，表示无限制。默认值：1024。

    警告

    配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。

  7. 单击保存或者保存并部署。

    • 保存：将管道信息保存在Logstash里并触发实例变更，配置不会生效。保存后，系统会返回管道管理页面。可在管道列表区域，单击操作列下的立即部署，触发实例重启，使配置生效。

    • 保存并部署：保存并且部署后，会触发实例重启，使配置生效。

五、步骤三：查看日志消费状态

  1. ​进入消息队列Kafka控制台。

  2. 参见查看消费状态，查看详细消费状态。

    预期结果如下：

    查看消费详情

六、步骤四：通过Kibana过滤日志数据

  1. 登录目标阿里云Elasticsearch实例的Kibana控制台，根据页面提示进入Kibana主页。

  2. 创建一个索引模式。

    1. 在左侧导航栏，单击Management。

    2. 在Kibana区域，单击Index Patterns。

    3. 单击Create index pattern。

    4. 输入Index pattern（本文使用kafka-*），单击Next step。

      创建索引模式

    5. 选择Time Filter field name（本文选择@timestamp），单击Create index pattern。

      Time Filter field name

  3. 在左侧导航栏，单击Discover。

  4. 从页面左侧的下拉列表中，选择您已创建的索引模式（kafka-*）。

  5. 在页面右上角，选择一段时间，查看对应时间段内的Filebeat采集的日志数据。

    查看日志数据

  6. 单击Add a filter，在Add filter页面中设置过滤条件，查看符合对应过滤条件的日志数据。

    过滤日志数据

七、常见问题

Q：同步日志数据出现问题，管道一直在生效中，无法将数据导入Elasticsearch，如何解决？

A：查看Logstash实例的主日志是否有报错，根据报错判断原因，具体操作请参见查询日志。常见的原因及解决方法如下。

原因

解决方法

Kafka的接入点不正确。

参见查看接入点获取正确的接入点。完成后，修改管道配置替换错误接入点。

Logstash与Kafka不在同一VPC下。

重新购买同一VPC下的实例。购买后，修改现有管道配置。

说明

VPC实例只能通过专有网络VPC访问

云消息队列 Kafka 版

。

Kafka或Logstash集群的配置太低，例如使用了测试版集群。

升级集群规格，完成后，刷新实例，观察变更进度。升级Logstash实例规格的具体操作，请参见升配集群；升级Kafka实例规格的具体操作，请参见升级实例配置。

管道配置中包含了file_extend，但没有安裝logstash-output-file_extend插件。

选择以下任意一种方式处理：

  • 安装logstash-output-file_extend插件。具体操作，请参见 安装或卸载插件。

  • 中断变更，等到实例处于变更中断状态后，在管道配置中，去掉file_extend配置，触发重启恢复。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/146701.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

科学上网导致Adobe软件运行弹出This non-genuine Adobe app will be disabled soon，尝试解决办法

科学上网导致Adobe软件运行弹出This non-genuine Adobe app will be disabled soon，尝试解决办法

之前介绍用防火墙拦截Adobe软件的出站规则可以解决软件的非正版弹窗&#xff0c;但是有的用户却不行是为什么&#xff0c;原因是使用了代理网络。因为Adobe此时跑的不是本地的流量而是代理的流量。所以防火墙拦截就不起作用了。 首先是之前介绍过的拦截方法&#xff0c;如果你没…
阅读更多...
百度飞浆环境安装

百度飞浆环境安装

前言&#xff1a; 在安装飞浆环境之前得先把pytorch环境安装好&#xff0c;不过关于pytorch网上教程最多的都是通过Anaconda来安装&#xff0c;但是Anaconda环境安装容易遇到安装超时导致安装失败的问题&#xff0c;本文将叫你如何通过pip安装的方式快速安装&#xff0c;其实这…
阅读更多...
14——1

14——1

这句话的意思是&#xff0c;如图中月份12天数23时&#xff0c;就是1223&#xff1b;当月份9天数2时&#xff0c;就是0902. 可以看到在上面给出的数组元素中&#xff0c;并没有连续挨在一起的2023数字元素——就有人可能输出答案0。 所以这里要看一下—— ——子序列的含义&…
阅读更多...
The 8th China Open Source Conference Successfully Concludes

The 8th China Open Source Conference Successfully Concludes

由开源社主办的第八届中国开源年会&#xff08;COSCon23&#xff09;于 2023年10月29日在成都圆满收官。本次大会&#xff0c;为期两天&#xff0c;线下参会报名逾千人次&#xff0c;在线直播观看人数总计 168610 人&#xff0c;直播观看次数达 248725 次&#xff0c;官网累计浏…
阅读更多...
网络编程 —— TCP 和 UDP 编程详解

网络编程 —— TCP 和 UDP 编程详解

目录 网络编程主要函数介绍 1. socket 函数 2. bind 函数 3. listen 函数 4. accept 函数 5. connect 函数 6. send 函数 7. recv 函数 8. recvfrom 函数 9. sendto 函数 TCP 和 UDP 原理上的区别 TCP 编程 服务端代码&#xff1a; 客户端代码&#xff1a; UDP 编…
阅读更多...
nodejs+vue公益帮学网站的设计与实现-微信小程序-安卓-python-PHP-计算机毕业设计

nodejs+vue公益帮学网站的设计与实现-微信小程序-安卓-python-PHP-计算机毕业设计

在当今高度发达的信息中&#xff0c;信息管理改革已成为一种更加广泛和全面的趋势。为确保中国经济的持续发展&#xff0c; 如何用方便快捷的方式使管理者在广阔的数据海洋里面查询、存储、管理和共享有效的数据信息&#xff0c;对我们的学习&#xff0c;工作和生活具有重要的现…
阅读更多...
创造者设计模式

创造者设计模式

Bike package com.jmj.pattern.builder.demo01;public class Bike {private String frame;//车架private String seat;//车座public String getFrame() {return frame;}public void setFrame(String frame) {this.frame frame;}public String getSeat() {return seat;}public…
阅读更多...
Webpack Bundle Analyzer包分析器

Webpack Bundle Analyzer包分析器

当我们需要分析打包文件dist里哪些资源可以进一步优化时&#xff0c;就可以使用包分析器插件webpack-bundle-analyzer。NPM上的介绍是使用交互式可缩放树图可视化 webpack 输出文件的大小。 我的是vue2项目。 1、webpack-bundle-analyzer插件的安装 $ npm install --save-dev…
阅读更多...
接口测试vs功能测试

接口测试vs功能测试

接口测试和功能测试的区别&#xff1a; 本文主要分为两个部分&#xff1a; 第一部分&#xff1a;主要从问题出发&#xff0c;引入接口测试的相关内容并与前端测试进行简单对比&#xff0c;总结两者之前的区别与联系。但该部分只交代了怎么做和如何做&#xff1f;并没有解释为什…
阅读更多...
Kyligence 入选 Gartner® 2023 客户之声报告，高分获评“卓越表现者”

Kyligence 入选 Gartner® 2023 客户之声报告，高分获评“卓越表现者”

近日&#xff0c;Gartner 发布了最新的《2023 分析和商业智能平台“客户之声”报告》(Voice of the Customer for Analytics and Business Intelligence Platforms, 2023, October 2023)。跬智信息&#xff08;Kyligence&#xff09;成功入选该报告&#xff0c;并凭借 4.7 分&a…
阅读更多...
嵌入式养成计划-54----ARM--异常处理流程

嵌入式养成计划-54----ARM--异常处理流程

一百三十五、异常处理流程 135.1 arm处理器工作模式 135.2 异常源和异常模式关系 135.2.1 异常源 异常源就是引发处理器进入相应异常模式 135.2.2 对应关系 异常模式异常源FIQ模式FIQ类型异常源引发处理器进入FIQ模式IRQ模式IRQ类型异常源引发处理器进入IRQ模式SVC模式上电…
阅读更多...
opencv车牌识别＜一＞

opencv车牌识别＜一＞

目录 一、概述 二、ANPR简介 一、概述 本文将介绍创建自动车牌识别(Automatic Number Plate Recognition&#xff0c;ANPR)所需的步骤。对于不同的情形&#xff0c;实现自动车牌识别会用不同的方法和技术&#xff0c;例如&#xff0c;IR 摄像机、固定汽车位置、光照条件等…
阅读更多...
spring cloud之配置中心

spring cloud之配置中心

Config 统一配置中心(*) 1.简介 # 统一配置中心 - 官网:https://cloud.spring.io/spring-cloud-static/spring-cloud-config/2.2.3.RELEASE/reference/html/#_spring_cloud_config_server- config 分为 config server 和 config client。用来统一管理所有微服务的配置统一配置…
阅读更多...
【Python 千题 —— 基础篇】欢迎光临

【Python 千题 —— 基础篇】欢迎光临

题目描述 题目描述 欢迎光临。为列表中的每个嘉宾打印欢迎光临语句。例如&#xff0c;有一份嘉宾列表 ["李二狗", "王子鸣"]&#xff0c;则需要根据嘉宾名单打印输出&#xff1a; 欢迎光临&#xff01;李二狗。 欢迎光临&#xff01;王子鸣。下面是一份…
阅读更多...
基于JAX-WS的RESTful web服务返回通过JAXB注解生成的xml文档

基于JAX-WS的RESTful web服务返回通过JAXB注解生成的xml文档

基于JAX-WS编写的RESTful web服务&#xff0c;返回xml文档。这个xml文档可以基于JAXB注解的形式来生成&#xff0c;简化xml的生成。 例如&#xff0c;下面RegisterResponse 这个类使用了JAXB的注解&#xff1a; package com.thb.server.register;import jakarta.xml.bind.ann…
阅读更多...
C语言--指针与数组--遍历数组的n种方式【详细】

C语言--指针与数组--遍历数组的n种方式【详细】

一.一维数组名的含义 arr一般表示数组的其实地址&#xff08;除了两种例外&#xff09; 1.在定义数组的同一个函数中(不是形参),求sizeof(arr),求整个数组的字节数 2.在定义数组的同一个函数中(不是形参),&arr1,加整个数组的大小 (经常考试) 3.除上面以外,arr都表示数组的…
阅读更多...
智能穿戴AR眼镜主板方案定制_MTK平台AR智能眼镜PCB板开发

智能穿戴AR眼镜主板方案定制_MTK平台AR智能眼镜PCB板开发

AR智能眼镜&#xff0c;是采用了多种技术实现增强现实效果&#xff0c;是将虚拟信息和现实场景相结合的智能设备。 AR智能眼镜硬件上&#xff0c;包括多个传感器、显示装置和处理器等。其中&#xff0c;传感器用于捕捉用户的动作和环境信息&#xff0c;如摄像头、陀螺仪、加速…
阅读更多...
【python】爬取酷狗音乐Top500排行榜【附源码】

【python】爬取酷狗音乐Top500排行榜【附源码】

一、导入必要的模块&#xff1a; 这篇博客将介绍如何使用Python编写一个爬虫程序&#xff0c;从斗鱼直播网站上获取图片信息并保存到本地。我们将使用requests模块发送HTTP请求和接收响应&#xff0c;以及os模块处理文件和目录操作。 如果出现模块报错 进入控制台输入&#xff…
阅读更多...
Axure原型设计工具怎么样？有替代软件吗？

Axure原型设计工具怎么样？有替代软件吗？

Axurerp是一种快速原型设计工具&#xff0c;可以制作高度互动的HTML原型。设计师不仅可以使用Axure绘制线框图和原型&#xff0c;还可以在Axurerp中完成一系列用户体验设计。在本文中&#xff0c;我们将根据用户体验设计师的真实经验&#xff0c;触发用户体验设计师的实际工作&…
阅读更多...
（论文阅读30/100）Convolutional Pose Machines

（论文阅读30/100）Convolutional Pose Machines

30.文献阅读笔记CPMs 简介 题目 Convolutional Pose Machines 作者 Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh, CVPR, 2016. 原文链接 https://arxiv.org/pdf/1602.00134.pdf 关键词 Convolutional Pose Machines&#xff08;CPMs&#xff09;…
阅读更多...
最新文章

Copyright @ 2022~2023