ELK日志分析

ELK是一套完整的日志集中处理方案，由三个开源软件简称组成：

E：ElasticSearch ES 是一个开源的，分布式的存储检索引擎（索引型的非关系型数据库）。存储日志  java代码开发的，基于Lucene结构开发的一套全文检索引擎。拥有一个web接口，用户可以通过浏览器的形式和ES组件进行通信。

作用：存储，允许全文搜索，结构化搜索（索引点），索引点可以支持大容量的日志数据，也可以搜索不同类型的文档。

K：kiabana 图形化界面。可以更好的分析存储在ES上的日志数据。提供了一个图形化的界面，来浏览ES上的日志数据。（汇总，分析，搜索）

L：Logstash 数据收集引擎，支持动态的（实时），从各种服务应用收集日志资源，还可以收集到日志数据进行过滤，分析，丰富，统一格式等等操作。然后把数据同步到es存储引擎。由RUBY语言编写的，运行在java虚拟机上的一个强大的数据处理工具，数据传输，格式化处理，格式化输出、主要用来处理日志。

数据收集工具：

fliebeat 轻量级的开源的，日志队列，收集的速度较快，但是没有数据分析和过滤的能力，一般结合logstash一块使用

kafka 中间键消息队列

RabbitMQ 中间键消息队列

elk:

es：存储数据，索引型的数据库

logstash：收集日志信息，然后安装标准化格式发送给你ES（rubydebug的格式）

K：可视化工具，更人性化的显示用户信息，方便用户检索查询

总结：ELK的作用，当我们管理一个大集群时，需要分析和定位的日志就会很多，每一台服务器分别去分析，将会耗时耗力，所以我们应运而生了一个集中统一的日志管理和分析系统，极大的提高了定位问题的效率。

日志系统的特征：

1.收集，可以收集基本上市面上常用的软件日志

2.传输，收集到的日志需要发送到ES上

3.存储，ES负责存储数据

4.UI：图形化界面（kiabana）

三台主机：

es1：192.168.233.20 （2核4G）

es2：192.168.233.30 （2核4G）

logstash kiabana：192.168.233.10（4核8G）

三台组件，最少2核4G

所有：

systemctl stop firewalld

setenforce 0

java -version

1.8.0

es1，es2

cd /opt

ls

拖进

elasticsearch-6.7.2.rpm

rpm -ivh elasticsearch-6.7.2.rpm

cd /etc/elasticsearch

ls

cp elasticsearch.yml elasticsearch.yml.bak

vim elasticsearch.yml

el1:

el2：

el1：

el2

el1：

33行 不改

如果改

el2：

33行

37行

44行  别开，开了起不来 注释掉

55行

60行

71行

el2：

44行 别开，开了起不来 注释掉

55行

60行

71行

el2：

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

el1:

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

ES的性能调优：

机器优化

修改打开的最大文件数：

vim /etc/security/limits.conf

* soft nofile 65536

* hard nofile 65536

* soft nproc 32000

* hard nproc 32000

* soft memlock unlimited

* hard memlock unlimited

重启生效

reboot

el1，el2按上述操作配置性能优化（也可以不做）

用户优化

vim /etc/systemd/system.conf

G

o

DefaultLimitNOFILE=65536

##一个用户会话的默认最大文件描述符的限制量

文件描述符：用于标识打开文件或者IO资源限制的整数。

##

DefaultLimitNPROC=32000

#一个用户可以打开的最大进程数量的限制32000，一个用户的终端可以运行多少个进程

##

DefaultLimitMEMLOCK=infinity

##一个用户的终端默认锁定内存的限制，不限制##

也是重启生效

内核优化：

ES是基于Lucene架构，实现的一款索引型数据库。Lucene可以利用操作系统的内存来缓存ES的索引数据。

提供更快的查询速度。在工作中我们会把系统的一半内存留给Lucene

机器内存小于64G，50%给es，50%给操作系统，让操作系统的内存给Lucene缓存数据

机器内存大于64G，ES分配4-32G即可，其他的都给操作系统。

vim /etc/sysctl.conf

vm.max_map_count=262144

#一个进程可以拥有的最大内存映射区参数。

内存映射：将文件或者其他设备映射进程空间的方法。允许进程直接读取或写入文件，无需常规的IO方式。映射的空间越大，ES和Lucene的速度越快。

2g/262144

4g/4194304

8g/8388608

sysctl-p

el1，el2：

systemctl restart elasticsearch.service

systemctl enable elasticsearch.service

netstat -antp | grep 9200

tail -f /var/log/elasticsearch/my-elk-cluster.log

cd /etc/elasticsearch

测试：访问 192.168.233.20:9200

    访问 192.168.233.30:9200

http://192.168.233.20:9200/_cluster/health?pretty  查看健康状态

所有：

cd /opt

拖进去

 node-v8.2.1.tar.gz

yum install gcc gcc-c++ make -y

tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1

./configure

make && make install

cd ..

拖进去

phantomjs-2.1.1-linux-x86_64.tar.bz2

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/

cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs /usr/local/bin

cd /opt

拖进去Elasticsearch-head

unzip elasticsearch-head-master.zip

cd /opt/elasticsearch-head-master/

npm config set registry http://registry.npm.taobao.org/  

npm install

vim /etc/elasticsearch/elasticsearch.yml

末尾添加

http.cors.enabled: true          ##开启跨域访问支持，默认为 false

http.cors.allow-origin: "*"       ###指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch

netstat -antp | grep 9200

cd /opt/elasticsearch-head-master

npm run start &

netstat -antp | grep 9100

测试   192.168.233.10:9100

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

logstash kiabana：

java -version

cd /opt

拖进去 logstash-6.7.2.rpm

cd /opt

rpm -ivh logstash-6.7.2.rpm                          

systemctl start logstash.service                      

systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

###

logstash的命令常用选项：

-f 指定配置文件，根据配置文件识别输入和输出流

-e 测试，从命令行当中获取输入，然后经过logstash加工之后，形成一个标准输出

-t 检测配置文件是否正确，然后退出

###

logstash -e 'input { stdin{} } output { stdout{} }'

###所有的键盘命令行输出，转化成标准输出（rubydebug的模式），6.0之后，logstash的默认输出格式就是rubydebug的标准输出

test1

guoqi

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.233.20:9200","192.168.233.20:9200"] } }' --path.data /opt/test1

郭旗真的帅！

##

区分不同的数据存放目录。

6.0之后的logstash自带的输出格式rubydebug，自动的把输出格式，定义为统一标准格式输出

cd /opt

拖进去 rpm -ivh kibana-6.7.2-x86_64.rpm

rpm -ivh kibana-6.7.2-x86_64.rpm

ls

vim /etc/kibana/kibana.yml

set nu

第2行

第7行

第28行

第37行

第96行

第113

wq！

touch /var/log/kibana.log

chown kibana:kibana /var/log/kibana.log

systemctl start kibana.service

systemctl enable kibana.service

netstat -antp | grep 5601

测试

访问 192.168.233.10:5601

否

mkdir /opt/log

cd /opt/log

cd /etc/logstash/conf.d

vim system.conf

input {

file{

path => "/var/log/messages"

type => "system"

start_position => "beginning"      ##从头开始收集   end 从尾开始

}

}

output {

elasticsearch {

hosts => ["192.168.233.20:9200","192.168.233.30:9200"]

index => "system-%{+YYYY.MM.dd}"

}

}

wq!

pwd

rm -rf /opt/test1

logstash -f system.conf --path.data /opt/test1

查看 访问192.168.233.20:9200

192.168.233.10:5610

cd /etc/logstash/

vim logstash.yml

systemctl restart logstash.service

cd /var/lib

chmod 777 messages

yum -y install httpd

systemctl restart httpd

cd /opt

cd logs

chmod 777 /etc/httpd/logs/access_log

chmod 777 error_log

vim httpd.conf

input {

    file{

        path => "/etc/httpd/logs/access_log"

        type => "access"

        start_position => "beginning"

    }

    file{

        path => "/etc/httpd/logs/error_log"

        type => "error"

        start_position => "beginning"

    }

}

output {

    if [type] == "access" {

        elasticsearch {

            hosts => ["192.168.233.12:9200","192.168.233.13:9200"]

            index => "apache_access-%{+YYYY.MM.dd}"

        }

    }

if [type] == "error" {

        elasticsearch {

            hosts => ["192.168.66.15:9200","192.168.66.16:9200"]

            index => "apache_error-%{+YYYY.MM.dd}"

        }

    }

}

ls

logstash -f httpd.conf --path.data /opt/test2 &

elk:

es：存储数据，索引型的数据库

logstash：收集日志信息，然后安装标准化格式发送给你ES（rubydebug的格式）

K：可视化工具，更人性化的显示用户信息，方便用户检索查询

hhtp的日志，写一个nginx的logstash的配置收集文件，提醒一下要使用json格式

vim /etc/yum.repos.d/nginx.repo

[nginx-stable]

name=nginx stable repo

baseurl=http://nginx.org/packages/centos/7/$basearch/

gpgcheck=0

enabled=1

yum install nginx -y

nginx -v

systemctl start nginx

systemctl enable nginx

日志在

/var/log/nginx/access.log

/var/log/nginx/error.log

vim /etc/nginx/nginx.conf

http {

    include       /etc/nginx/mime.types;

    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format  json  '{"@timestamp":"$time_iso8601",'

                      '"host":"$server_addr",'

                      '"clientip":"$remote_addr",'

                      '"size":$body_bytes_sent,'

                      '"responsetime":$request_time,'

                      '"upstreamtime":"$upstream_response_time",'

                      '"upstreamhost":"$upstream_addr",'

                      '"http_host":"$host",'

                      '"url":"$uri",'

                      '"referer":"$http_referer",'

                      '"agent":"$http_user_agent",'

                      '"status":"$status"}';

    #access_log  /var/log/nginx/access.log  main;

    access_log  /var/log/nginx/access.log  json;

    sendfile        on;

    #tcp_nopush     on;

    client_max_body_size 100M;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;

}

systemctl restart nginx

/etc/logstash/conf.d

vim nginx.conf

input {

  file {

    path => "/var/log/nginx/access.log"

    start_position => "end"

    type => "access"

  }

  file {

    path => "/var/log/nginx/error.log"

    start_position => "end"

    type => "error"

  }

}

output {

    if [type] == "access" {

        elasticsearch {

            hosts => ["192.168.66.15:9200","192.168.66.16:9200"]

            index => "nginx_access-%{+YYYY.MM.dd}"

        }

    }

        if [type] == "error" {

        elasticsearch {

            hosts => ["192.168.66.15:9200","192.168.66.16:9200"]

            index => "nginx_error-%{+YYYY.MM.dd}"

        }

    }

}

logstash -f nginx.conf --path.data /opt/test3 &

vim /usr/share/nginx/html/index.html

this is test

访问几次页面nginx 192.168.66.17:80

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/223408.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Java 基础】21 多线程同步与锁

【Java 基础】21 多线程同步与锁

文章目录 1.存在的问题2.使用同步解决问题1) synchronized2) volatile3) 锁 总结 用多线程过程中，有可能出现 多个线程同时处理（获取或修改等）同一个数据，这个时候就 会发生数据不同步的问题， 因此出现了同步和锁来…
阅读更多...
用js自定义一个（v-model）vModel双向绑定函数

用js自定义一个（v-model）vModel双向绑定函数

vue中的v-model是双向绑定的, 我们自己用JavaScript实现一个双向绑定vModel函数。 // element 元素或者#id,.class,div 得是input标签 // data 对象 // 将要绑定property 对象中的key<input class"vmodel"/>function vModel(element, data, property) {if (…
阅读更多...
【Proteus】绘制简单的电路图

【Proteus】绘制简单的电路图

参考书籍&#xff1a;微机原理与接口技术——基于8086和Proteus仿真&#xff08;第3版&#xff09;&#xff08;作者&#xff1a;顾晖等&#xff09;&#xff0c;p111 1.放置元件 以8086为例&#xff1a; 确保处于元件模式&#xff0c;点击对应的按钮&#xff1a; 在元件库中…
阅读更多...
自动生成实体类，mapper类和mapper.xml文件（解放双手，定义好数据库表就不要手写啦）

自动生成实体类，mapper类和mapper.xml文件（解放双手，定义好数据库表就不要手写啦）

背景 建的表有四十多个字段&#xff0c;建好了已经很累了&#xff0c;映射成Javabean还要再写一次&#xff01;&#xff01; 吐槽 在建立好了sql表之后&#xff0c;我们已经写了一次建表了&#xff0c;难道还要我们自己再一次手写模Java模型吗&#xff0c;我的表有几十个字段…
阅读更多...
数据结构——链式二叉树

数据结构——链式二叉树

前言&#xff1a;哈喽小伙伴们&#xff0c;上篇文章我们讲述了一个特殊的二叉树——使用数组实现的堆的基本知识之后呢&#xff0c;从这篇文章开始&#xff0c;我们就正式进入普通二叉树的介绍啦&#xff0c;二叉树真正的难点——递归&#xff0c;即将来临&#xff0c;小伙伴们…
阅读更多...
力扣刷题day2（最长公共前缀，有效括号，删除有序数组中的重复元素）

力扣刷题day2（最长公共前缀，有效括号，删除有序数组中的重复元素）

题目1&#xff1a;14.最长公共前缀 思路和解析&#xff1a; #define _CRT_SECURE_NO_WARNINGS //最长公共前缀 char* longestCommonPrefix(char** strs, int strsSize) {// 如果字符串数组为空&#xff0c;则返回空字符串if (strsSize 0){return "";}// 将第一个…
阅读更多...
P7 Linux C三种终止进程的方法

P7 Linux C三种终止进程的方法

前言 &#x1f3ac; 个人主页&#xff1a;ChenPi &#x1f43b;推荐专栏1: 《C_ChenPi的博客-CSDN博客》✨✨✨ &#x1f525; 推荐专栏2: 《Linux C应用编程&#xff08;概念类&#xff09;_ChenPi的博客-CSDN博客》✨✨✨ &#x1f6f8;推荐专栏3: ​​​​​​《 链表_Chen…
阅读更多...
基于深度学习面向中医诊断的舌象图像分割系统

基于深度学习面向中医诊断的舌象图像分割系统

1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 研究背景与意义 中医舌诊是通过观察舌的各种特征来了解人体的健康状况&#xff0c;从而对各种疾病做出诊断及病情评估&#xff0c;是传统中国医学应用最广、最有价值的诊法之一。…
阅读更多...
632. 最小区间

632. 最小区间

632. 最小区间 class Solution {public int[] smallestRange(List<List<Integer>> nums) {int size nums.size();Map<Integer, List<Integer>> indices new HashMap<Integer, List<Integer>>();int xMin Integer.MAX_VALUE, xMax Inte…
阅读更多...
什么因素会影响葡萄酒陈酿的能力？

什么因素会影响葡萄酒陈酿的能力？

糖、酸和酚类与水的比例是葡萄酒陈酿程度的关键决定因素&#xff0c;收获前葡萄中的水分越少&#xff0c;产生的葡萄酒就越有可能具有一定的陈酿潜力。那么葡萄品种、气候和葡萄栽培实践的过程就相当重要了&#xff0c;对陈酿的时间发挥了重要的作用。皮较厚的葡萄品种&#xf…
阅读更多...
iOS ------ 调用高德地图SDK

iOS ------ 调用高德地图SDK

一&#xff0c;导入第三方库 这里使用CocoaPods安装SDK&#xff0c;方法和前面导入第三方库相同 1.打开终端&#xff0c;cd 文件路径 进入到所创建的项目文件中 2.输入pod init为该项目创建Podfile文件 3.编辑 Podfile 文件 Podfile文件内容如下&#xff1a; platform :ios,…
阅读更多...
图形遍历效率低？试试 R 树

图形遍历效率低？试试 R 树

大家好&#xff0c;我是前端西瓜哥。 今天我们来看看 R 树是什么&#xff1f;以及它为什么能够提高图形的检索速度。 R 树&#xff08;R-tree&#xff09;是一种 空间索引技术&#xff0c;能够是从大量的节点中&#xff0c;快速找到特定范围的元素集合&#xff0c;而不用一个…
阅读更多...
Verilog 入门（八）（验证）

Verilog 入门（八）（验证）

文章目录 编写测试验证程序波形产生值序列重复模式 测试验证程序实例从文本文件中读取向量实例&#xff1a;时序检测器 测试验证程序用于测试和验证设计方法的正确性。Verilog 提供强有力的结构来说明测试验证程序。 编写测试验证程序 测试验证程序有三个主要目的&#xff1a;…
阅读更多...
JNPF——强大、高效、易学的低代码开发工具

JNPF——强大、高效、易学的低代码开发工具

目录 1.什么是低代码 2.什么是JNPF? 3.推荐JNPF的理由 4.小结 你是否为编程世界的各种挑战感到头痛&#xff1f;想要以更高效、简单的方式开发出专业级的项目&#xff1f;JNPF低代码工具正是你苦心寻找的产品&#xff01;它是一款专为稍微懂一点点编程思想的入门级人员设计…
阅读更多...
vue elementUI 上传非空验证

vue elementUI 上传非空验证

<el-form-item label"照片" prop"staffImg"><template v-slot:label><span v-show"!rules.staffImg[0].required"style"color: #ff4949;margin-right: 4px;">*</span><span>照片</span></temp…
阅读更多...
【动手学深度学习】(六)权重衰退

【动手学深度学习】(六)权重衰退

文章目录 一、理论知识二、代码实现2.1从零开始实现2.2简洁实现 【相关总结】 主要解决过拟合 一、理论知识 1、使用均方范数作为硬性限制&#xff08;不常用&#xff09; 通过限制参数值的选择范围来控制模型容量 通常不限制偏移b 小的意味着更强的正则项 使用均方范数作为柔…
阅读更多...
深入理解TDD（测试驱动开发）：提升代码质量的利器

深入理解TDD（测试驱动开发）：提升代码质量的利器

在日常的软件开发工作中&#xff0c;我们常常会遇到这样的问题&#xff1a;如何在繁忙的项目进度中&#xff0c;保证我们的代码质量&#xff1f;如何在不断的迭代更新中&#xff0c;避免引入新的错误&#xff1f;对此&#xff0c;有一种有效的开发方式能帮助我们解决这些问题&a…
阅读更多...
CSS中区分行高，行间距

CSS中区分行高，行间距

行高&#xff08;line height&#xff09; —文字占有的实际高度 —使用line-height来设置行高 行高类似于我们上学单线本&#xff0c;单线本是一行一行&#xff0c;线与线之间的距离就是行高&#xff0c;控制文字行与行之间的距离&#xff0c; 网页中的文字实际上也是写在一个…
阅读更多...
14. 二叉树遍历

14. 二叉树遍历

从物理结构的角度来看&#xff0c;树是一种基于链表的数据结构&#xff0c;因此其遍历方式是通过指针逐个访问节点。然而&#xff0c;树是一种非线性数据结构&#xff0c;这使得遍历树比遍历链表更加复杂&#xff0c;需要借助搜索算法来实现。 二叉树常见的遍历方式包括层序遍…
阅读更多...
0基础学java-day14

0基础学java-day14

一、集合 前面我们保存多个数据使用的是数组&#xff0c;那么数组有不足的地方&#xff0c;我们分析一下 1.数组 2 集合 数据类型也可以不一样 3.集合的框架体系 Java 的集合类很多&#xff0c;主要分为两大类&#xff0c;如图 &#xff1a;[背下来] package com.hspedu.c…
阅读更多...
最新文章

Copyright @ 2022~2023