【ELK日志收集系统】

目录

一、概述

1.作用

2.为什么使用？

二、组件

1.elasticsearch

1.1 作用

1.2 特点

2.logstash

2.1 作用

2.2 工作过程

2.3 INPUT

2.4 FILETER

2.5 OUTPUTS

3.kibana

三、架构类型

1.ELK

2.ELKK

3.ELFK

4.ELFKK

四、案例 - 构建ELK集群

1.环境配置

2.安装node1与node2节点的elasticsearch

2.1 安装

2.2 配置

2.3 启动elasticsearch服务

2.4 查看节点信息

3.在node1安装elasticsearch-head插件

3.1 安装node

3.2 拷贝命令

3.3 安装elasticsearch-head

3.4 修改elasticsearch配置文件

3.5 启动elasticsearch-head

3.6 访问

3.7 在node1的终端中输入：

4.node1服务器安装logstash

5.ogstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

​编辑

6.node1节点安装kibana

7.企业案例

一、概述

ELK由三个组件构成

1.作用

  • 日志收集
  • 日志分析
  • 日志可视化

2.为什么使用？

  • 日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。
  • 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

二、组件

1.elasticsearch

1.1 作用

  • 日志分析
  • 开源的日志收集、分析、存储程序

1.2 特点

  • 分布式
  • 零配置
  • 自动发现
  • 索引自动分片
  • 索引副本机制
  • Restful风格接口
  • 多数据源
  • 自动搜索负载

2.logstash

2.1 作用

  • 日志收集
  • 搜集、分析、过滤日志的工具

2.2 工作过程

  • 一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去
  • Inputs → Filters → Outputs
  • 输入-->过滤-->输出

2.3 INPUT

  • File：从文件系统的文件中读取，类似于tail -f命令
  • Syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析
  • Redis：从redis service中读取
  • Beats：从filebeat中读取

2.4 FILETER

  • Grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。
  • 官方提供的grok表达式：logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub
  • Grok在线调试：Grok Debugger
  • Mutate：对字段进行转换。例如对字段进行删除、替换、修改、重命名等。
  • Drop：丢弃一部分Events不进行处理。
  • Clone：拷贝Event，这个过程中也可以添加或移除字段。
  • Geoip：添加地理信息(为前台kibana图形化展示使用)

2.5 OUTPUTS

  • Elasticsearch：可以高效的保存数据，并且能够方便和简单的进行查询。
  • File：将Event数据保存到文件中。
  • Graphite：将Event数据发送到图形化组件中，踏实一个当前较流行的开源存储图形化展示的组件。

3.kibana

  • 日志可视化
  • 为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

1.ELK

es
logstash
kibana

2.ELKK

es
logstash
kafka
kibana

3.ELFK

es
logstash        重量级、占用系统资源较多
filebeat          轻量级、占用系统资源较少
kibana

4.ELFKK

es
logstash
filebeat
kafka
kibana

四、案例 - 构建ELK集群

1.环境配置

设置各个主机的IP地址为拓扑中的静态IP，在两个节点中修改主机名为node1和node2并设置hosts文件

node1：

hostnamectl set-hostname node1

bash

vim /etc/hosts

192.168.42.3  node1

192.168.42.4  node2

node2：

hostnamectl set-hostname node2

bash

vim /etc/hosts

192.168.42.3  node1

192.168.42.4  node2

        

2.安装node1与node2节点的elasticsearch

2.1 安装

  mv elk-apppack elk

  cd elk

rpm -ivh elasticsearch-5.5.0.rpm

2.2 配置

node1：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node1 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

node2：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node2 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

2.3 启动elasticsearch服务

node1和node2

systemctl start elasticsearch

2.4 查看节点信息

  http://192.168.42.3:9200

http://192.168.42.4:9200

3.在node1安装elasticsearch-head插件

3.1 安装node

cd elk

ls

tar xf node-v8.2.1.tar.gz

cd node-v8.2.1

./configure && make && make install

3.2 拷贝命令

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs  /usr/local/bin

3.3 安装elasticsearch-head

cd elk

tar xf elasticsearch-head.tar.gz

cd elasticsearch-head

npm install

3.4 修改elasticsearch配置文件

vim /etc/elasticsearch/elasticsearch.yml

 # Require explicit names when deleting indices:

#

#action.destructive_requires_name:true

http.cors.enabled: true  //开启跨域访问支持，默认为false

http.cors.allow-origin:"*"  //跨域访问允许的域名地址

重启服务： systemctl restart elasticsearch

3.5 启动elasticsearch-head

cd /root/elk/elasticsearch-head

npm run start &

查看监听： netstat -anput | grep :9100

3.6 访问

http://192.168.42.3:9100

3.7 在node1的终端中输入：

curl  -XPUT  'localhost:9200/index-demo/test/1?pretty&pretty' -H  'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

刷新浏览器可以看到对应信息即可

4.node1服务器安装logstash

cd elk

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service

In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

测试1： 标准输入与输出

logstash -e 'input{ stdin{} }output { stdout{} }'

测试2： 使用rubydebug解码

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3：输出到elasticsearch

logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.42.3:9200"]} }'

  查看结果：

http://192.168.42.3:9100

5.ogstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：

input (...)  输入

filter {...}   过滤

output {...}  输出

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：

input {

file{path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log"  type =>"apache"}

}

通过logstash收集系统信息日志

chmod o+r /var/log/messages

vim /etc/logstash/conf.d/system.conf

input {

file{

path =>"/var/log/messages"

type => "system"

start_position => "beginning"

}

}

output {

elasticsearch{

hosts =>["192.168.42.1:9200"]

index => "system-%{+YYYY.MM.dd}"

}

}

重启日志服务： systemctl restart logstash

查看日志： http://192.168.42.3:9100

6.node1节点安装kibana

cd elk

rpm -ivh kibana-5.5.1-x86_64.rpm

配置kibana

vim /etc/kibana/kibana.yml

server.port：5601  //Kibana打开的端口

server.host："0.0.0.0" //Kibana侦听的地址

elasticsearch.url： "http：//192.168.42.3:9200"  

//和Elasticsearch 建立连接

kibana.index：".kibana"  //在Elasticsearch中添加.kibana索引

启动kibana

systemctl start kibana

访问kibana :

http://192.168.42.3:5601

首次访问需要添加索引，我们添加前面已经添加过的索引：system-*

7.企业案例

收集httpd访问日志信息

在httpd服务器上安装logstash，参数上述安装过程，可以不进行测试

logstash在httpd服务器上作为agent（代理），不需要启动

编写httpd日志收集配置文件

vim /etc/logstash/conf.d/httpd.conf

input {

file{

path=>"/var/log/httpd/access_log" //收集Apache访问日志

type => "access" //类型指定为 access

start_position => "beginning" //从开始处收集

}

output{

elasticsearch {

hosts =>["192.168.42.3:9200"] // elasticsearch 监听地址及端口

index =>"httpd_access-%{+YYYY.MM.dd}" //指定索引格式

}

}

使用logstash命令导入配置：

logstash -f /etc/logstash/conf.d/httpd.conf

使用kibana查看即可！ http://192.168.42.3:5601   查看时在mangement选项卡创建索引httpd_access-*  即可！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/102359.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MFC网络编程简单例程

MFC网络编程简单例程

目录 一、关于网络的部分概念1 URL(网址)及URL的解析2 URL的解析3 域名及域名解析3 IP及子网掩码4 什么是Web服务器5 HTTP的基本概念6 Socket库概念7 协议栈8 Socket库收发数据基本步骤 二、基于TCP的网络应用程序三、基于UDP的网络应用程序 一、关于网络的部分概念 1 URL(网址…
阅读更多...
git在windows上安装

git在windows上安装

介绍git工具在windows上如何安装 git官网下载地址 1.1、下载 https://github.com/git-for-windows/git/releases/download/v2.36.0.windows.1/Git-2.36.0-64-bit.exe自行选择版本，这里我选择的是 Git-2.36.0-64-bit这个版本 1.2、安装 安装路径选择英文且不带空格…
阅读更多...
【计算机网络】HTTP

【计算机网络】HTTP

文章目录 1.HTTP概念2. URLurlencode 和 urldecode转义规则 3. HTTP的宏观理解HTTP的请求HTTP的响应 4. 见一见HTTP请求和响应请求报头 1. 模拟一个简单的响应response响应报头 2. 从路径中获取内容ReadFile函数的实现 3.不同资源进行区分反序列化的实现ReadOneLine函数的实现P…
阅读更多...
docker-compose 部署nacos 整合 postgresql 为DB

docker-compose 部署nacos 整合 postgresql 为DB

标题docker-compose 部署nacos 整合 postgresql 为DB 前提： 已经安装好postgresql数据库 先创建好一个数据库 nacos，执行以下sql: /** Copyright 1999-2018 Alibaba Group Holding Ltd.** Licensed under the Apache License, Version 2.0 (the "…
阅读更多...
Java：Springboot和React中枚举值（数据字典）的使用

Java：Springboot和React中枚举值（数据字典）的使用

目录 1、开发中的需求2、实现效果3、后端代码4、前端代码5、接口数据6、完整代码7、参考文章 1、开发中的需求 开发和使用过程中，通常会涉及四个角色：数据库管理员、后端开发人员、前端开发人员、浏览者 数据库使用int类型的数值进行存储（e…
阅读更多...
POSTGRESQL WAL 日志问题合集之WAL 如何解析

POSTGRESQL WAL 日志问题合集之WAL 如何解析

开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请加 liuaustin3微信号 ，在新加的朋友会分到3群 &#xf…
阅读更多...
最小二乘法处理线性回归

最小二乘法处理线性回归

最小二乘法是一种数学优化技术，用于查找最适合一组数据点的函数。 该方法主要用于线性回归分析，当然，也可用于非线性问题。 开始之前，我们先理解一下什么是回归。 回归：回归是一种监督学习算法，用于建模和…
阅读更多...
MySql时间

MySql时间

一、查询 查询mysql当前时间 SELECT now();查询mysql时区 show variables like%time_zone;二、修改时区 set global time_zone 8:00; （修改mysql全局时区为北京时间，也就是我们所在的东8区，需要root权限） set time_zone 8:0…
阅读更多...
销量蹭蹭上涨！亚马逊上这几款宿舍神器火爆了！

销量蹭蹭上涨！亚马逊上这几款宿舍神器火爆了！

一、BedShelfie床边置物架 每年返校季，收纳工具都是最畅销的产品。在亚马逊床头柜热销榜单中，这款产品位居第二。过去一个月里，有1000多名用户购买了这件产品。 二、U Brands磁性干擦日历板 目前，亚马逊上这款产品已经卖到断货。…
阅读更多...
自建音乐服务器Navidrome之一

自建音乐服务器Navidrome之一

这里写自定义目录标题 1.1 官方网站 2. Navidrome 简介2.1 简介2.2 特性 3. 准备工作4. 视频教程5. 界面演示5.1 初始化页5.2 专辑页 前言 之前给大家介绍过 Koel 音频流服务，就是为了解决大家的这个问题：下载下来的音乐，只能在本机欣赏&…
阅读更多...
The remote endpoint was in state [TEXT_FULL_WRITING]

The remote endpoint was in state [TEXT_FULL_WRITING]

报这个错是因为在websocket接收与发送消息时，资源互抢造成的，有很多帖子说将session锁住， 但是同一个账号多个客户端登陆的时候，session是不同的，所以只能锁住一个session，还是出现这个问题。 解决办法&a…
阅读更多...
Go 官方标准编译器中所做的优化

Go 官方标准编译器中所做的优化

本文是对#102 Go 官方标准编译器中实现的优化集锦汇总[1] 内容的记录与总结. 优化1-4: 字符串和字节切片之间的转化 1.紧跟range关键字的 从字符串到字节切片的转换； package mainimport ( "fmt" "strings" "testing")var cs10086 s…
阅读更多...
正则表达式练习

正则表达式练习

(function() {//#region 定义正则表达式// const reg /前端/g;// ------------test-------------// const res reg.test("学java,找黑马");// console.log(res)// ------------exec--------------// const res reg.exec("学好前端，找黑马"…
阅读更多...
【调试经验】Ubuntu22.04 安装和配置MySQL 8.0.34

【调试经验】Ubuntu22.04 安装和配置MySQL 8.0.34

本文共计1469字，预计阅读时间5分钟 在安装新版本的MySQL到电脑时，按着网上一些教程执行发现错误繁多，最后索性自己摸索并把服务装好了。自己也整理了一下在操作时的笔记，上传上来希望能帮助到大家。 目录 正文 安装MySQL 配置…
阅读更多...
串口接收数据-控制LED灯

串口接收数据-控制LED灯

目标 通过串口接收数据，对数据分析，控制8个LED灯按照设定时间闪烁。 8个LED灯可以任意设计，是否闪烁。闪烁时间按ms计算，通过串口发送，可设置1~4,294,967,296ms，也就是4字节数据协议自拟，有数…
阅读更多...
Oracle21C--Windows卸载与安装

Oracle21C--Windows卸载与安装

卸载方法： （1）WinR，输入services.msc,打开服务，把Oracle相关的服务全部停止运行（重要） （2）WinR，输入regedit，打开注册表，删除Oracle开…
阅读更多...
MATLAB中circshift函数转化为C语言

MATLAB中circshift函数转化为C语言

背景 有项目算法使用matlab中circshift函数进行运算，这里需要将转化为C语言，从而模拟算法运行，将算法移植到qt。 MATLAB中circshift简单介绍 circshift是循环移位函数。可以使用于数组和矩阵元素的循环移位。 当A是数组 Bcircshift(A,p);如果…
阅读更多...
虚拟世界指南：从零开始，一步步教你安装、配置和使用VMware，镜像ISO文件！

虚拟世界指南：从零开始，一步步教你安装、配置和使用VMware，镜像ISO文件！

本章目录 CentOS简介镜像下载一、新建虚拟机（自定义）1、进入主页，在主页中点击“创建新的虚拟机”2、点击创建虚拟机创建自己的虚拟机。可以选择自定义3、在“硬件兼容性(H)中选择：Workststion 15.x” ->下一步4、选择“稍后安…
阅读更多...
浅析Linux虚拟网络技术

浅析Linux虚拟网络技术

文章目录 概述Tap/tun设备tun/tap的工作机制 Bridge网桥Bridge的工作机制Bridge IP 相关参考 概述 在传统的网络环境中，一台物理主机包含一张或多张网卡，要实现与其它物理主机之间的通信，需要将自身的网卡通过路由器或者交换机连接到外部的物…
阅读更多...
Flutter 状态管理引子

Flutter 状态管理引子

1、为了更好地了解状态管理，先看看什么是状态。 在类似Flutter这样的响应式编程框架中，我们可以认为U相关的开发就是对数据进行封装，将之转换为具体的U1布局或者组件。借用Flutter官网的一张图，可以把我们在第二部分做的所有开发…
阅读更多...
最新文章

Copyright @ 2022~2023