ELK中L的filebeat配置及使用（超详细）

上一次讲解了如何在linux服务器上使用docker配置ELK中的E和K，这期着重讲解一下L怎么配置。

首先L在elk中指的是一个数据处理管道，可以从多种来源收集数据，进行处理和转换，然后将数据发送到 Elasticsearch。L的全称就是：Logstash，Logstsh的功能特别多，提供了大量的输入，过滤和输出插件，但是他的资源占用也比较多。

08_对接kafka案例展示_哔哩哔哩_bilibili

简单说一下什么是Filebeat

​ Filebeat是一种轻量型日志采集器，内置有多种模块（auditd、Apache、NGINX、System、MySQL 等等），可针对常见格式的日志大大简化收集、解析和可视化过程，只需一条命令即可。根据采集的数据形式不同，形成了由多个模块组成的Beats。Beats是开源数据传输程序集，可以将其作为代理安装在服务器上，将操作数据发送给Elasticsearch，或者通过Logstash，在Kibana中可视化数据之前，在Logstash中进一步处理和增强数据。

白话说：Filebeat占用内存小的日志采集器，它的作用是：1、可以代替Logstash将日志直接发送到Elasticsearch.2、可以在Filebeat收集完数据后统一发送给Logstash，然后又Logstash进一步处理数据后再发送给Elasticsearch。

Filebeat特点

（1）轻量型日志采集器，占用资源更少，对机器配置要求极低。

（2）操作简便，可将采集到的日志信息直接发送到ES集群、Logstash、Kafka集群等消息队列中。

（3）异常中断重启后会继续上次停止的位置。（通过${filebeat_home}\data\registry文件来记录日志的偏移量）。

（4）使用压力敏感协议（backpressure-sensitive）来传输数据，在 logstash 忙的时候，Filebeat 会减慢读取-传输速度，一旦 logstash 恢复，则 Filebeat 恢复原来的速度。

（5）Filebeat带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

bin/logstash -e ‘input { stdin{} } output { stdout{} }’

Filebeat与Logstash对比

（1）Filebeat是轻量级数据托运者，您可以在服务器上将其作为代理安装，以将特定类型的操作数据发送到Elasticsearch。与Logstash相比，其占用空间小，使用的系统资源更少。

（2）Logstash具有更大的占用空间，但提供了大量的输入，过滤和输出插件，用于收集，丰富和转换来自各种来源的数据。

（3）Logstash是使用Java编写，插件是使用jruby编写，对机器的资源要求会比较高。在采集日志方面，对CPU、内存上都要比Filebeat高很多。

为什么要先用Filebeat收集再发送到logstash呢？

假设我们有多个节点都需要收集日志数据，如果每一个节点都安装一个Logstash，那么消耗的内存就浪费了，但是如果每个都安装一个占用内存很小的Filebeat，然后将所有的Filebeat收集的数据都发送给统一的一个Logstash的话，那么Logstash只需要下载一遍就可以了。

演示如何安装部署L部分

前言：记得elk中的几个工具都用一样版本的，不同版本可能会出现版本不兼容，看上一篇博客说的，我们继续使用 7.12.1版本的。

上一个服务器也就是ELK中EK都是在ip： 121.196.217.190上的，E在9200端口，K在5601端口。

我要把L也就是收集器就模拟放到一个节点上，放到另外一个服务器上，ip： 8.148.4.43，注意提前关闭防火墙和打开端口访问，

这个服务器使用到的端口是5044端口。

下载Filebeat
# 进入文件夹
cd /www/zzntest/

# 下载
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.1-linux-x86_64.tar.gz

# 解压文件
tar -zxvf filebeat-7.12.1-linux-x86_64.tar.gz 

# 重命名
mv filebeat-7.12.1-linux-x86_64  filebeat

下载好了之后

#进入filebeat
cd filebeat

#指定监控日志的输入输出路径
vim filebeat.yml

改下面这两部分内容:意思就是允许从/www/zzntest/log/*.log 路径下的日志输入到filebeat

  # Unique ID among all inputs, an ID is required.
  id: my-filestream-id

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /www/zzntest/log/*.log

此时如果启动filebeat他就会监听/www/zzntest/log/*.log 的日志文件了，但是我们还没有写输出到哪里，所以先不启动，

先测试第一种情况，

1、将日志用filebeat收集后输出到logstash上
下载logstash

下载filebeat差不多

cd /www/zzntest/

# 下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.1-linux-x86_64.tar.gz

# 解压文件
tar -zxvf logstash-7.12.1-linux-x86_64.tar.gz

# 重命名
mv  logstash-7.12.1 logstash

在logstash里面创建文件夹job编写数据采集文件：filebeat_to_logstash.conf

mkdir job

vim filebeat_to_logstash.conf

#本次采用的数据为数仓项目中的模拟数据
#1562065564549|{"cm":{"ln":"-54.7","sv":"V2.9.8","os":"8.1.0","g":"9NY0AL0L@gmail.com","mid":"m140","nw":"WIFI","l":"pt","vc":"13","hw":"1080*1920","ar":"MX","uid":"u737","t":"1562030978430","la":"-7.4","md":"HTC-14","vn":"1.1.3","ba":"HTC","sr":"M"},"ap":"gmall","et":[{"ett":"1561996979060","en":"display","kv":{"newsid":"n925","action":"1","extend1":"1","place":"4","category":"37"}},{"ett":"1562031053551","en":"newsdetail","kv":{"entry":"3","newsid":"n332","news_staytime":"10","loading_time":"8","action":"4","showtype":"3","category":"11","type1":"433"}},{"ett":"1561986545246","en":"loading","kv":{"extend2":"","loading_time":"7","action":"1","extend1":"","type":"1","type1":"102","loading_way":"1"}},{"ett":"1562053433842","en":"active_foreground","kv":{"access":"1","push_id":"1"}},{"ett":"1562030443443","en":"favorites","kv":{"course_id":2,"id":0,"add_time":"1562049124751","userid":0}}]}
#上面是即将使用的模拟数据，下面就是输入输出使用的端口5044，语言默认“GBK”，过滤器filter就是接收的message使用“|”切分，最后拿到数据转换为json，然后output->stdout即输出到控制台。
input {
  beats {
    port=>5044
    codec=>plain{
        charset=>"GBK"
    }
  }
}
filter {
        mutate{
        split=>["message","|"]
                add_field => {
                        "field1" => "%{[message][0]}"
                }
                add_field => {
                        "field2" => "%{[message][1]}"
                }
                remove_field => ["message"]
        }
        json{
                source => "field1"
                target => "field2"
        }
}
#输出数据到控制台
output{
       stdout{
               codec=>rubydebug
      }
}

这个文件写好之后就回到logstash的目录下启动logstash

bin/logstash -f job/filebeat_to_logstash.conf

启动完之后不要关闭这个窗口，再开一个窗口进入到filebeat文件夹中

进入之后再次打开配置修改 vim filebeat.yml

要修改的内容就是将output部分中的Elasticsearch给注释掉，然后把Logstash需要的部分给打开和输入要传输的目的地。

image-20240928155801503

此时就可以去运行filebeat了， ./filebeat -e 即携带日志运行，

注意一下，此时开了两个页面，窗口1是运行logstash的，窗口2是运行filebeat的，都不要关，去打开窗口3进入到zzntest/log/文件夹下

准备输入日志 echo hello >> 1.log 输入之后，就会看到窗口2是这样的

注意：在这里是输入数据到端口，一定要把端口使用权限打开，不然会报error说连接端口失败。

image-20240928161745547

端口2将数据处理好之后就会发送到5044端口，然后窗口1就会看到刚才输入的hello，但格式虽然和最初的不太符合，但这起码映射成功了。

image-20240928161912300

如果此时把最初准备好的日志内容输入vim test.log

1562065564549|{"cm":{"ln":"-54.7","sv":"V2.9.8","os":"8.1.0","g":"9NY0AL0L@gmail.com","mid":"m140","nw":"WIFI","l":"pt","vc":"13","hw":"1080*1920","ar":"MX","uid":"u737","t":"1562030978430","la":"-7.4","md":"HTC-14","vn":"1.1.3","ba":"HTC","sr":"M"},"ap":"gmall","et":[{"ett":"1561996979060","en":"display","kv":{"newsid":"n925","action":"1","extend1":"1","place":"4","category":"37"}},{"ett":"1562031053551","en":"newsdetail","kv":{"entry":"3","newsid":"n332","news_staytime":"10","loading_time":"8","action":"4","showtype":"3","category":"11","type1":"433"}},{"ett":"1561986545246","en":"loading","kv":{"extend2":"","loading_time":"7","action":"1","extend1":"","type":"1","type1":"102","loading_way":"1"}},{"ett":"1562053433842","en":"active_foreground","kv":{"access":"1","push_id":"1"}},{"ett":"1562030443443","en":"favorites","kv":{"course_id":2,"id":0,"add_time":"1562049124751","userid":0}}]}

在窗户一就可以看到想要的结果了。也就是完成了。

image-20240928162144514

2、将filebeat的内容直接放到es里

如果发送到logstash的话就是不需要考虑什么索引表名什么都不用考虑，但是es是要注意发送到哪一个索引(index)

先去修改Filebeat中的配置，因为我们是日志，就简单做一下分区

把logstash给注释掉，然后打开elasticsearch，和添加下面的索引，大概意思就是：如果输入的日志字段含有WARN字段，就放到索引warning里面就可以。如果包含ERR就放到，，，，索引中另外两个也是同样的作用。

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["8.148.4.43:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"
  #通过判断数据中包含的字符串 可以分流数据
  #通过语法%{}可以调用元数据信息和特殊信息
#error-8.5.2-2022-12-02
  indices:
    - index: "warning"
      when.contains:
        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "ERR"
    - index: "info"
      when.contains:
        message: "INFO"

修改好之后就打开es和重新运行filebeat。./filebeat -e 然后再用重新的方法在窗口3里输入日志。

输出好之后就打开es所在地，因为之前已经配置好kibana，所以就直接打开kibana的端口，看有没有把数据写进去就行

注意：看上面的配置是把日志文件分成了三个索引存入，在输入日志之前要提前在es里面创建好这三个索引的，这样filebeat才能够成功将日志输入到es中。

121.196.217.190:5601

ik安装

  1. 下载 IK 分词器插件：（很麻烦且速度慢，不建议）
    你可以在本地下载与你的 Elasticsearch 版本对应的 IK 分词器插件文件（.zip 格式）。可以在 IK Analyzer 的 GitHub releases 页面 中找到对应版本。

  2. 创建本地目录：
    假设你已经下载了 IK 插件压缩包（例如 elasticsearch-analysis-ik-7.12.1.zip），将其解压缩后命名ik放在一个本地目录中。例如，将其放在 /www/plugins 目录。

    此时因为之前就已经启动了es了，此时需要新添加一个容器卷，所以要把之前的给删掉

    docker rm -f es

    之后去linux的elk目录添加一个plugins的文件夹，等会把它挂载到docker里面

    然后添加这个容器卷重新运行容器

  3. 使用 Docker 启动 Elasticsearch 挂载插件：
    在启动 Elasticsearch Docker 容器时，可以将本地的插件目录挂载到容器中的 plugins 目录下。以下是一个示例命令：

    前面是自己的目录路径：后面是不用改的是容器内的路径

    docker run -d --name es \
--net elk \
-p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
--privileged=true \
-v $PWD/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v $PWD/elasticsearch/data/:/usr/share/elasticsearch/data \
-v $PWD/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
elasticsearch:7.12.1

    docker run -d --name your_elasticsearch_container \
  -v /path/to/your/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
  -v /path/to/your/data:/usr/share/elasticsearch/data \
  -v /path/to/your/plugins:/usr/share/elasticsearch/plugins \
  -e "discovery.type=single-node" \
  docker.elastic.co/elasticsearch/elasticsearch:7.10.1

    确保将命令中的版本号和路径替换为你实际使用的。

    之后就进入容器后测试一下是否加载（不行的话可以再重启一下: docker rm -f es )

  4. 确认插件是否加载：
    启动容器后，你可以进入容器内部，查看插件是否成功加载。执行以下命令：

    docker exec -it your_elasticsearch_container /bin/bash  
./bin/elasticsearch-plugin list

    如果 ik 显示在列表中，那么你就成功安装了 IK 分词器。

  5. 验证功能：
    启动 Es 后，可以在 Kibana 或使用 curl 来测试 IK 分词器是否正常工作。例如：

    POST /_analyze  
{  
  "analyzer": "ik_max_word",  
  "text": "中文分词器"  
}

如果一切顺利，你应该能够在 Docker 中通过挂载方式成功安装并使用 IK 分词器。这样做的好处是避免了网络问题导致的插件下载失败。

你会在结果中看到是中文、分词、器 也就是分成了三个词

如果使用的是默认的分词器就会分成中、文、分、词、器五个词了。

ik分词器中的词汇是可以修改的打开挂载的容器卷所在的ik文件夹就可以找到。

image-20241001203042886

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/889571.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

dbeaver_导入到数据库中的csv文件显示黑色方块

dbeaver_导入到数据库中的csv文件显示黑色方块

dbeaver_导入到数据库中的csv文件显示黑色方块 ** 解决方案： ** 数据库导出到CSV用Excel打开中文乱码问题
阅读更多...
H3C OSPF 综合排错实验

H3C OSPF 综合排错实验

H3C OSPF 综合排错实验 实验拓扑 ​​ 实验需求 按照图示配置 IP 地址，所有路由器配置环回口 IP 地址为 X.X.X.X/32​ 作为 Router-id，X 为设备编号（R7 除外）按照图示分区域配置 OSPFR1 和 R6 上分别配置环回口来模拟业务网段…
阅读更多...
【华为】基于华为交换机的VLAN配置与不同VLAN间通信实现

【华为】基于华为交换机的VLAN配置与不同VLAN间通信实现

划分VLAN（虚拟局域网）主要作用： 一、提高网络安全性 广播域隔离访问控制增强 二、优化网络性能 减少网络拥塞提高网络可管理性 sysytem-view #进入系统视图配置参数 vlan batch 10 20 #批量创建vlanLSW3: int g0/0/1 port …
阅读更多...
MYSQL 事物隔离级别的区别与现象

MYSQL 事物隔离级别的区别与现象

事物的ACID属性本章不再赘述，本章主要描述事物的隔离级别及隔离级别导致的现象，日常工作中该如何选择MYSQL的隔离级别。 MYSQL事物的隔离级别及各隔离级别存在的问题如下： 隔离级别/问题脏读不可重复读幻读读未提交(Read-Uncommitted)✅✅✅…
阅读更多...
PostgreSQL学习笔记四：GUI管理工具

PostgreSQL学习笔记四：GUI管理工具

PostgreSQL 是一款广泛使用的开源关系数据库管理系统，拥有许多图形用户界面（GUI）工具来帮助用户更高效地管理数据库。以下是一些流行的 PostgreSQL 管理工具： pgAdmin： 一个流行的开源 PostgreSQL GUI 工具&#xff0c…
阅读更多...
半周期检查-下降沿发上升沿采

半周期检查-下降沿发上升沿采

1. 半周期路径Half Cycle Path 如果在设计中，同时存在上升沿触发的D触发器，以及下降沿触发的D触发器，则视为半周期路径，Half Cycle Path。 2. Setup time检查 时序图 时序报告： 起始点 startpoint：UFF5&a…
阅读更多...
Jenkins+kubernetes流水线构建java项目

Jenkins+kubernetes流水线构建java项目

在传统的业务环境中，我们的应用部署或者更新都是采用手工的方式，但是在企业内部，应用架构一般都采用微服务，大部分项目都会对应几十个、上百甚至上千个微服务，并且还不仅仅只有一个项目，所以采用收工方式上…
阅读更多...
微信小程序开发-配置文件详解

微信小程序开发-配置文件详解

文章目录 一，小程序创建的配置文件介绍二，配置文件-全局配置-pages 配置作用：注意事项：示例： 三，配置文件-全局配置-window 配置示例： 四，配置文件-全局配置-tabbar 配置核心作用&am…
阅读更多...
【Linux】————进程控制

【Linux】————进程控制

作者主页： 作者主页 本篇博客专栏：Linux专栏 创作时间 ：2024年10月10日 ​ ​ 一、程序地址空间： 1、C/C中的程序地址空间： ​ 在c中我们了解了这样的空间分布图。 我们应如何去创建和访问变量呢？…
阅读更多...
VR线上展厅：超越时空的沉浸式展览，打造个性化、高效展览新模式

VR线上展厅：超越时空的沉浸式展览，打造个性化、高效展览新模式

一、沉浸式漫游：打破时空限制，尽享虚拟之旅 VR线上展厅通过高度逼真的3D场景构建，为参观者营造了一个仿佛置身其中的虚拟世界。借助各种显示设备，用户能够自由穿梭于各个展区之间，无论是漫步在历史悠久的博物馆&#…
阅读更多...
双语大脑的神经可塑性能力：来自健康和病理个体的见解

双语大脑的神经可塑性能力：来自健康和病理个体的见解

摘要 双语经验的神经印记对于理解大脑如何处理优势语言和非优势语言至关重要，但关于它的研究仍然没有定论。不同的研究表明神经处理存在相似性或差异性，这对患有脑肿瘤的双语患者具有重要意义。保留术后的双语功能需要考虑到术前的神经可塑性变化。在这…
阅读更多...
【论文阅读笔记】End-to-End Object Detection with Transformers

【论文阅读笔记】End-to-End Object Detection with Transformers

代码地址：https://github.com/facebookresearch/detr 论文小结 本文是Transformer结构应用于目标检测（OD）任务的开山之作。方法名DETE，取自Detection Transformer。   作为2020年的论文，其表现精度在当时也不算高的…
阅读更多...
pytorch导入数据集

pytorch导入数据集

1、概念： Dataset：一种数据结构，存储数据及其标签 Dataloader：一种工具，可以将Dataset里的数据分批、打乱、批量加载并进行迭代等 （方便模型训练和验证） Dataset就像一个大书架，存…
阅读更多...
mongodb GUI工具（NoSQLBooster）

mongodb GUI工具（NoSQLBooster）

介绍 跨平台的MongoDB GUI工具，支持Windows、macOS和Linux。自带服务器监控工具、Visual Explain Plan、查询构建器、SQL查询等功能。提供免费版本，但功能相比付费版本有所限制。 免费版可供个人/商业使用，但功能有限。 安装成功后&#x…
阅读更多...
大疆M2006+C610 pid参数调优

大疆M2006+C610 pid参数调优

官方给的示例代码里给的是1.5, 0.1, 0 但试了下空转时显然不太行. 自己摸索出0.8, 0.03, 0 表现如图中的蓝色线 期望速度先两秒的1000,然后一秒的2000,一秒的3000, 0 2000 表现还不错,可以看到0.5秒后与期望值的差距控制在大概10%之内,但还是感觉有些过调 对了先说一下基础知识…
阅读更多...
有什么方法可以保护ppt文件不被随意修改呢？

有什么方法可以保护ppt文件不被随意修改呢？

在工作或学习中，我们常常需要制作powerpoint演示文稿，担心自己不小心改动了或者不想他人随意更改，我们可以如何保护PPT呢？下面小编就来分享两个常用的方法。 方法一：为PPT设置打开密码 为PPT设置打开密码是最直接有效…
阅读更多...
活动预告｜博睿数据将受邀出席GOPS全球运维大会上海站！

活动预告｜博睿数据将受邀出席GOPS全球运维大会上海站！

第二十四届 GOPS 全球运维大会暨研运数智化技术峰会上海站将于2024年10月18日-19日在上海中庚聚龙酒店召开。大会将为期2天，侧重大模型、DevOps、SRE、AIOps、BizDevOps、云原生及安全等热门技术领域。特设了如大模型 运维/研发测试、银行/证券数字化转型、平台工程…
阅读更多...
九寨沟，智慧旅游新名片

九寨沟，智慧旅游新名片

九寨沟属于自然类景区，以优美的自然风光取胜，景区文化内涵相对缺失。智慧化和文旅融合是智慧文旅景区的两个必备条件，九寨沟在智慧文旅景区建设过程中，经历了两个阶段，先是从传统景区迈向智慧景区，然后是充…
阅读更多...
设计模式：单例

设计模式：单例

一.什么是单例模式 单例模式是一种设计模式，指在整个程序生命周期中有且仅有一个实例的类。可以分为懒汉式以及饿汉式。 懒汉式：只有在类的实例被使用时才生成唯一实例。但是存在线程安全以及内存泄露的问题。可以节省系统资源。 饿汉式：程序…
阅读更多...
10万+收藏！10万转发！AI绘画如何助力育儿赛道引爆短视频平台？

10万+收藏！10万转发！AI绘画如何助力育儿赛道引爆短视频平台？

在自媒体领域，内容创作的竞争日益激烈，但育儿自媒体一直是一块热门且持久的“金矿”，吸引了无数创作者投身其中。然而，如何在这片红海中脱颖而出，成为了许多创作者面临的难题。而AI绘画的出现，无疑解决了创…
阅读更多...
最新文章

Copyright @ 2022~2023