12:Logstash｜Web日志实时分析

Logstash｜Web日志实时分析

logstash
- logstash工作结构
- 安装Logstash
- 编写logstash配置文件
- - 步骤一：codec类插件
  - 插件帮助手册
- Logstash input插件
- - 步骤一：file模块插件
  - filter grok插件
Web日志实时分析
- 部署beats与filebeat
- - 步骤一：filter grok模块插件

logstash

一个数据采集、加工处理以及传输的工具
特点：

所有类型的数据集中处理
不同模式和格式数据的正常化
自定义日志格式的迅速扩展
为自定义数据源轻松添加插件

logstash工作结构

在这里插入图片描述

input 负责收集数据
filter 负责数据处理
output 负责输出数据

安装Logstash

最低配置： 2cpu，2G内存，10G硬盘
虚拟机IP： 192.168.1.47 logstash
1.配置主机名，ip和yum源，配置/etc/hosts

[root@logstash ~]# vim /etc/hosts
192.168.1.41    es-0001
192.168.1.42    es-0002
192.168.1.43    es-0003
192.168.1.44    es-0004
192.168.1.45    es-0005
192.168.1.46    kibana
192.168.1.47    logstash

2.安装java-1.8.0-openjdk和logstash

[root@logstash ~]# yum -y install java-1.8.0-openjdk logstash
[root@logstash ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
[root@logstash ~]# ln -s /etc/logstash /usr/share/logstash/config 
# 基础配置样例
[root@logstash ~]# vim /etc/logstash/conf.d/my.conf
input {
    
  stdin {
   } # 手工录入 标准输入
}
filter{
    }
output{
    
  stdout{
   } # 标准输出
}
[root@logstash ~]# /usr/share/logstash/bin/logstash

编写logstash配置文件

标准输入采用 json 编码格式
标准输出采用 rubydebug 编码格式
启动 logstash 验证

步骤一：codec类插件

1）codec类插件

[root@logstash ~]# vim /etc/logstash/conf.d/my.conf
input {
    
  stdin {
    codec => "json" }
}
filter{
    }
output{
    
  stdout{
    codec => "rubydebug" }
}
[root@logstash ~]# /usr/share/logstash/bin/logstash
Settings: Default pipeline workers: 2
Pipeline main started
a
{
   
       "message" => "a",
           "tags" => [<