日志收集Day005

1.filebeat的input类型之filestream实战案例:

在7.16版本中已经弃用log类型,之后需要使用filebeat,与log不同，filebeat的message无需设置就是顶级字段

1.1简单使用：

filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /tmp/myfilestream01.log
output.console:
  pretty: true

1.2解析json格式数据

filebeat.inputs:
  # 指定类型为filestream，在7.16版本中已经弃用log类型
- type: filestream
  enabled: true
  paths:
    - /tmp/myfilestream02.log
  parsers:
    # 配置json格式解析
    - ndjson:
       # 将错误消息记录到error字段中
       add_error_key: true
       # 如果解析的json格式字段和filebeat内置的顶级字段冲突，则覆盖，默认是不覆盖的。
       overwrite_keys: true
       # 将message解析的字段放入一个自定义的字段下。若不指定该字段，则默认解析的键值对会在顶级字段.
       target: readjson

output.console:
  pretty: true

1.3多行合并案例

filebeat.inputs:
  # 指定类型为filestream，在7.16版本中已经弃用log类型
- type: filestream
  enabled: true
  paths:
    - /tmp/myfilestream02.log
  parsers:
    - multiline:
        type: count
        count_lines: 4
    - ndjson:
       add_error_key: true
       overwrite_keys: true
       target: readjson

output.console:
  pretty: true

2.写入数据到es集群

filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /tmp/shopping.json
  parsers:
    - multiline:
        type: count
        count_lines: 7
    - ndjson:
       add_error_key: true
       overwrite_keys: true

# 将日志输出到ES集群
output.elasticsearch:
  # 指定ES集群地址
  hosts: ["http://10.0.0.101:9200","http://10.0.0.102:9200","http://10.0.0.103:9200"]
  # 指定索引
  index: "shopping-%{+yyyy.MM.dd}-output"

# 禁用索引声明管理周期，若不禁用则自动忽略自定义索引名称
setup.ilm.enabled: false
# 设置索引模板的名称
setup.template.name: "lxc-shopping"
# 指定索引模板的匹配模式
setup.template.pattern: "lxc-shopping-*"
# 是否覆盖原有的索引模板
setup.template.overwrite: true
# 设置索引模板
setup.template.settings:
  # 指定分片数量为8
  index.number_of_shards: 8
  # 指定副本数量为0
  index.number_of_replicas: 0

3.多数据源写入es集群不同索引

filebeat.inputs:

- type: filestream
  enabled: true
  tags: "json"
  paths:
    - /tmp/ceshi.json
  parsers:
    - ndjson:
       add_error_key: true
       #overwrite_keys: true


- type: filestream
  enabled: true
  tags: "log"
  paths:
    - /tmp/ceshi.log
  parsers:
    - multiline:
        type: count
        count_lines: 3


- type: filestream
  enabled: true
  tags: "shopping"
  paths:
    - /tmp/shopping.json
  parsers:
    - multiline:
        type: count
        count_lines: 7
    - ndjson:
       add_error_key: true
       overwrite_keys: true
       target: shopping


output.elasticsearch:
  hosts: 
  - "http://10.0.0.101:9200"
  - "http://10.0.0.102:9200"
  - "http://10.0.0.103:9200"
  # index: "oldboyedu-linux85-shopping-%{+yyyy.MM.dd}"
  indices:
     - index: "filebeate-14-json-docker-%{+yyyy.MM.dd}"
       when.contains:
         tags: "json"
     - index: "filebeate-14-log-%{+yyyy.MM.dd}"
       when.contains:
         tags: "log"
     - index: "filebeate-14-shopping-%{+yyyy.MM.dd}"
       when.contains:
         tags: "shopping"

setup.ilm.enabled: false
setup.template.name: "filebeate-14"
setup.template.pattern: "filebeate-14-*"
setup.template.overwrite: true
setup.template.settings:
  index.number_of_shards: 4
  index.number_of_replicas: 1

解析：这个配置是针对有多个数据源采集到es集群的一个例子。三个type分别代表三个数据源，output.elasticsearch.hosts设置了es集群的ip,includes下三个index分别包含上面的三个type，注意这里的index名称需要和下面设置的setup.template.pattern匹配，否则索引模板不生效。可以通过curl 10.0.0.101:9200/filebeate-14-shopping-2025.01.23/_search,检验数据是否成功写入，详见之前文档，这里不多赘述。另外，值得注意的是，副本分片数量应该小于节点数量（可写入节点）。

4.logstash的安装

二进制安装：

1.解压安装包：tar xf logstash-7.17.5-linux-x86_64.tar.gz -C /app/softwares/

2.创建软链接：ln -svf /app/softwares/logstash-7.17.5/bin/logstash /usr/local/sbin/

3.验证logstash版本:logstash -V

4.基于命令行启动logstash实例:logstash -e "input { stdin { type => stdin } } output { stdout {} }"

5.编写第一个logstash

[root@elk101.lxcedu.com ~]# vim config/01-stdin-to-stdout.conf

input {
  stdin { type => stdin }
}

output {
  stdout {}
}

6.logstash搭配filebeat实战案例
1.编写logstash配置文件并启动(输入为filebeat的输入，输出到es集群)

vim 02-beats-to-stdout.conf

input {
  # 指定输入的类型是一个beats
  beats {
    # 指定监听的端口号
    port => 8888
  }
}

output {
  # 将数据写入ES集群
  elasticsearch {
    # 指定ES主机地址
    hosts => ["http://localhost:9200"]
    # 指定索引名称
    index => "my-logstash01"
  }
}

logstash -rf 02-beats-to-stdout.conf 

2.启动filebeat实例并写入数据

[root@elk101.lxcedu.com /app/softwares/filebeat-7.17.5-linux-x86_64/config]# vim 18-nginx-to-logstash.yaml

filebeat -e -c 18-nginx-to-logstash.yaml

filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log*

# 将数据输出到logstash中
output.logstash:
  # 指定logstash的主机和端口
     hosts: ["10.0.0.101:8888"]

7.logstash的过滤插件之geoip实战案例:
1.logstash配置文件
vim config03-beats-geoip-es.conf

input { 
  # 指定输入的类型是一个beats
  beats {
    # 指定监听的端口号
    port => 8888
  }
} 


filter {
  # 根据IP地址分析客户端的经纬度，国家，城市信息等。
  geoip {
     source => "clientip"
     remove_field => [ "agent","log","input","host","ecs","tags" ]
  }

}

output { 
  
  # 将数据写入ES集群
  elasticsearch {
    # 指定ES主机地址
    hosts => ["http://localhost:9200"]
    # 指定索引名称
    index => "geoip-logstash"
  }
}

logstash -rf config/03-beats-geoip-es.conf

(2)filebeat采集数据到logstash

filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log*
  json.keys_under_root: true
  json.add_error_key: true

# 将数据输出到logstash中
output.logstash:
  # 指定logstash的主机和端口
     hosts: ["10.0.0.101:8888"]

此时在kibana创建索引模式，

之后便可在Discover筛选出需要的值，进行查看

8.logstash解析nginx原生日志，并分析IP地址实战和修改日期字段数据类型

最好先创建索引模板，规划好分片和副本数量
1.logstash配置文件
vim config/04-beats-grok_geoip-es.conf

input { 
  beats {
    port => 8888
  }
} 


filter {
   #使用%%{HTTPD_COMBINEDLOG}解析日志
   grok {
      match => { "message" => "%{HTTPD_COMBINEDLOG}" }
      remove_field => [ "agent","log","input","host","ecs","tags" ]
   }

  geoip {
     source => "clientip"
  }
  
  date {
      # 匹配时间字符串字段并格式化
      # "22/Nov/2015:11:57:34 +0800",默认timestamp是keyword类型，不格式化无法在kbina分析
      match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
      # 匹配时区,可省略
      timezone => "Asia/Shanghai"
      # 将转后的日期替换为指定字段，若不指定，则默认值为"@timestamp"
      target => "time"
  }


}

output { 
   #stdout {} 
  
   elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-logstash"
  }
}

启动：logstash -rf config/04-beats-grok_geoip-es.conf

2.filebeat采集数据到logstash

filebeat.inputs:
- type: log
  paths:
    - /tmp/access.log


# 将数据输出到logstash中
output.logstash:
   # 指定logstash的主机和端口
  hosts: ["10.0.0.101:8888"]

启动：filebeat -e -c 19-nginx-to-logstash.yaml

如下图kibana采集到的数据，可以看出上述对时间字段的修改生效

以上参考官方文档：

Logstash Introduction | Logstash Reference [7.17] | Elastic

grok正则匹配参考：

Grok filter plugin | Logstash Reference [7.17] | Elastic

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/958663.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

9.中断系统、EXTI外部中断

9.中断系统、EXTI外部中断

中断系统原理 中断 中断系统是管理和执行中断的逻辑结构，外部中断是众多能产生中断的外设之一，所以本节我们就借助外部中断来学习一下中断系统。在以后学习其它外设的时候，也是会经常和中断打交道的。 中断：在主程序运行过程中…
阅读更多...
Java如何实现反转义

Java如何实现反转义

Java如何实现反转义 前提 最近做的一个需求，是热搜词增加换一批的功能。功能做完自测后，交给了测试伙伴，但是测试第二天后就提了一个bug，出现了未知词 levis。第一眼看着像公司售卖的一个品牌-李维斯。然后再扒前人写的代码&…
阅读更多...
[STM32 - 野火] - - - 固件库学习笔记 - - -十一.电源管理系统

[STM32 - 野火] - - - 固件库学习笔记 - - -十一.电源管理系统

一、电源管理系统简介 电源管理系统是STM32硬件设计和系统运行的基础，它不仅为芯片本身提供稳定的电源，还通过多种电源管理功能优化功耗、延长电池寿命，并确保系统的可靠性和稳定性。 二、电源监控器 作用：保证STM32芯片工作在…
阅读更多...
js学习笔记（2）

js学习笔记（2）

一、函数 1.JavaScript 函数语法 函数就是包裹在花括号中的代码块，前面使用了关键词 function： function functionname() {// 执行代码 } 当调用该函数时，会执行函数内的代码。 可以在某事件发生时直接调用函数（比如当用户点…
阅读更多...
自动驾驶之DriveMM： All-in-One Large Multimodal Model for Autonomous Driving

自动驾驶之DriveMM： All-in-One Large Multimodal Model for Autonomous Driving

1. 写在前面 工作之后，主要从事于偏工程比较多的内容， 很少有机会读论文了，但2025年，由于之前有些算法的背景， 后面可能会接触一些多模态大模型相关的工作，所以又调头有点往算法的方向偏移， 而算法呢，很重要的一点就是阅读论文。2025年，再拾起论文这块的工作。 今天…
阅读更多...
机器学习-数据集划分

机器学习-数据集划分

文章目录 一. 为什么要划分数据集二. 数据集划分的方法1. 留出法：2. 交叉验证：将数据集划分为训练集，验证集，测试集3. 留一法：4. 自助法： 一. 为什么要划分数据集 为了能够评估模型的泛化能力，可…
阅读更多...
最新-CentOS 7 基于1 Panel面板安装 JumpServer 堡垒机

最新-CentOS 7 基于1 Panel面板安装 JumpServer 堡垒机

CentOS 7 基于1 Panel面板安装 JumpServer 堡垒机 一、前言二、设备要求三、环境要求四、安装4.1 环境安装4.2 JumpServer安装4.3 访问JumpServerWeb端，进行登录 五、登录Web控制台 一、前言 JumpServer是广受欢迎的开源堡垒机。运维必备神器！JumpServe…
阅读更多...
解决CentOS9系统下Zabbix 7.2图形中文字符乱码问题

解决CentOS9系统下Zabbix 7.2图形中文字符乱码问题

操作系统：CentOS 9 Zabbix版本：Zabbix7.2 问题描述：主机图形中文字符乱码 解决方案： # 安装字体配置和中文语言包 sudo yum install -y fontconfig langpacks-zh_CN.noarch # 检查是否已有中文字体： fc-list :lan…
阅读更多...
JAVA-快速排序

JAVA-快速排序

一、快速排序基本思想 快速排序是 Hoare 于 1962 年提出的一种二叉树结构的交换排序方法，其基本思想为： 任取待排序元素序列中的某元 素作为基准值，按照该排序码将待排序集合分割成两子序列，左子序列中所有元素均小于基准值&#…
阅读更多...
WPF1-从最简单的xaml开始

WPF1-从最简单的xaml开始

1. 最简单的WPF应用 1.1. App.config1.2. App.xaml 和 App.xaml.cs1.3. MainWindow.xaml 和 MainWindow.xaml.cs 2. 正式开始分析 2.1. 声明即定义2.2. 命名空间 2.2.1. xaml的Property和Attribute2.2.2. xaml中命名空间2.2.3. partial关键字 学习WPF，肯定要先学…
阅读更多...
Spring 框架：配置缓存管理器、注解参数与过期时间

Spring 框架：配置缓存管理器、注解参数与过期时间

在 Spring 框架中，可通过多种方式配置缓存具体行为，常见配置方法如下。 1. 缓存管理器（CacheManager）配置 基于内存的缓存管理器配置（以SimpleCacheManager为例） SimpleCacheManager 是 Spring 提供的简单…
阅读更多...
【专题】为2025制定可付诸实践的IT战略规划报告汇总PDF洞察（附原数据表）

【专题】为2025制定可付诸实践的IT战略规划报告汇总PDF洞察（附原数据表）

原文链接：https://tecdat.cn/?p39055 在当今瞬息万变的商业环境中，制定有效的 IT 战略规划对于企业的成功与可持续发展至关重要。本报告深入探讨了制定 IT 战略规划的关键活动，旨在为企业和决策者提供全面且实用的指导。 Gartner的《为202…
阅读更多...
计算机图形学：实验二 三维模型读取与控制

计算机图形学：实验二 三维模型读取与控制

一、程序功能设计 通过键盘和鼠标结合实现了对三维牛模型的变换控制，可以灵活调整旋转的轴、方向、速度以及暂停或复位三维牛模型状态。 动画启动和暂停： 按键：鼠标左键（启动），鼠标右键（暂停…
阅读更多...
代码随想录算法训练营day34

代码随想录算法训练营day34

代码随想录算法训练营 —day34 文章目录 代码随想录算法训练营前言一、62.不同路径动态规划动态规划空间优化 二、63. 不同路径 II动态规划动态规划优化空间版 三、343. 整数拆分动态规划贪心算法 96.不同的二叉搜索树总结 前言 今天是算法营的第34天，希望自己能够…
阅读更多...
DAY6,使用互斥锁 和 信号量分别实现5个线程之间的同步

DAY6,使用互斥锁 和 信号量分别实现5个线程之间的同步

题目 请使用互斥锁 和 信号量分别实现5个线程之间的同步 代码：信号量实现 void* task1(void* arg); void* task2(void* arg); void* task3(void* arg); void* task4(void* arg); void* task5(void* arg);sem_t sem[5]; //信号量变量int main(int argc, const …
阅读更多...
不写Sql进行CRUD——MybatisPlus的基本用法

不写Sql进行CRUD——MybatisPlus的基本用法

目录 使用步骤 引入依赖 在XXXMapper接口里实现BaseMapper<>接口&#xff08;找爸爸&#xff09; 之后就可以在项目中直接使用XXXMapper内定义的crud方法了 使用mabatis-plus时常用的注解 常见配置 核心功能 条件构造器 查询数据 修改数据 条件构造器的用法&a…
阅读更多...
go-zero框架基本配置和错误码封装

go-zero框架基本配置和错误码封装

文章目录 加载配置信息配置 env加载.env文件配置servicecontext 查询数据生成model文件执行查询操作 错误码封装配置拦截器错误码封装 接上一篇&#xff1a;《go-zero框架快速入门》 加载配置信息 配置 env 在项目根目录下新增 .env 文件&#xff0c;可以配置当前读取哪个环…
阅读更多...
JavaScript学习笔记（1）

JavaScript学习笔记（1）

html 完成了架子&#xff0c; css 做了美化&#xff0c;但是网页是死的&#xff0c;我们需要给他注入灵魂&#xff0c;所以接下来我们需要学习 JavaScript&#xff0c;这门语言会让我们的页面能够和用户进行交互。 一、引入方式 1.内部脚本 将 JS 代码定义在 HTML 页面中 Jav…
阅读更多...
FPGA自分频产生的时钟如何使用？

FPGA自分频产生的时钟如何使用？

对于频率比较小的时钟&#xff0c;使用clocking wizard IP往往不能产生&#xff0c;此时就需要我们使用代码进行自分频&#xff0c;自分频产生的时钟首先应该经过BUFG处理&#xff0c;然后还需要进行时钟约束&#xff0c;处理之后才能使用。
阅读更多...
（1）STM32 USB设备开发-基础知识

（1）STM32 USB设备开发-基础知识

开篇感谢&#xff1a; 【经验分享】STM32 USB相关知识扫盲 - STM32团队 ST意法半导体中文论坛 单片机学习记录_桃成蹊2.0的博客-CSDN博客 USB_不吃鱼的猫丿的博客-CSDN博客 1、USB鼠标_哔哩哔哩_bilibili usb_冰糖葫的博客-CSDN博客 USB_lqonlylove的博客-CSDN博客 USB …
阅读更多...
最新文章

Copyright @ 2022~2023