elk高并发架构

1.前言

普通的elk架构只适合数据量小的情景，而且也不安全，在瞬时数据量大的情况下可能会导致logstash崩溃，从而导致数据的丢失，对于数据安全有较高要求，可以在架构中加入消息队列，既可以防止瞬时的大流量并发，也可以防止在logstash挂掉的情况下数据的丢失

2.架构

给每个需要收集日志的主机部署filebeat服务，filebeat统一将日志输出到kafka集群对应的topic中，再由logstash去主动消费kafka集群topic中的日志数据，由于是logstash主动去消费，就不会发生logstash顶不住大并发数据量而崩溃的问题，但是如果数据量大，logstash消费不过来会导致kafka的消息堆积，一旦kafka堆积过多导致崩溃，所以logstash的数量也是很重要的，logstash消费后的数据写入到elasticsearch集群中，elasticsearch使用集群模式，可以保证数据的安全与高可用，最后再通过kibana展示数据

对于这个架构可能会有一些疑点，因为kafka的特殊性，主题的数据被消费后是不会立刻被删除的，所以使用多个logstash节点去消费主题会不会导致重复消费，logstash单节点宕机的情况下，kafka的主题还在写入数据，logstash恢复后会不会消费挂掉期间主题产生的数据，是否是从头消费导致重复消费以前的数据

已通过试验证明，试验中auto_offset_reset 配置为latest模式，logstash单节点宕机恢复后，会根据宕机之前offset的偏移量继续去消费主题中的数据，所以即使在宕机期间topic产生的数据，在logstash恢复后会继续去消费

已通过试验证明，试验中所有logstash节点都配置相同的消费者组，logstash配置多个节点也不会产生重复消费的情况，且每个logstash节点都是有消费topic数据的，每个logstash节点消费的数据量都差不多，相差不大，类似于负载均衡效果

3.主机信息

nameipserivceport
A10.1.60.114zookeeper、kafka、logstash、elasticsearch2181、2888、3888、9092、9200、9300
B10.1.60.115zookeeper、kafka、logstash、elasticsearch、kibana2181、2888、3888、9092、9200、9300、5601
C10.1.60.118zookeeper、kafka、logstash、elasticsearch2181、2888、3888、9092、9200、9300

3.架构搭建 

zookeeper集群搭建(kafka需要使用zookeeper)

参考：zookeeper集群搭建_Apex Predator的博客-CSDN博客

kafka集群搭建 

参考：kafka集群搭建_Apex Predator的博客-CSDN博客

elasticsearch集群搭建 

参考：elasticsearch集群搭建_Apex Predator的博客-CSDN博客

kibana部署 

安装kibana需要部署java环境，7版本以上的要使用jdk 11版本以上

 参考：jdk1.8环境配置_Apex Predator的博客-CSDN博客

在官网下载kibana的安装包，本次搭建选择了7.17.10版本

Past Releases of Elastic Stack Software | Elastic

新建目录，将安装包上传到主机中并解压更改名称

mkdir /opt/kibana

cd /opt/kibana

tar -zxvf kibana-7.17.10-linux-x86_64.tar.gz

mv kibana-7.17.10-linux-x86_64 kibana

ls /opt/kibana

 编辑kibana配置文件

vi /opt/kibana/kibana/config/kibana.yml

server.port: 5601   #配置监听端口
server.host: "0.0.0.0"   #配置访问地址
server.name: "kibana"   #kibana名称
elasticsearch.hosts: ["http://10.1.60.114:9200","http://10.1.60.115:9200","http://10.1.60.118:9200"]    #配置elasticsearch集群地址
i18n.locale: "zh-CN"     #更改界面为中文模式

kibana不能使用root用户启动，所以需要创建启动kibana服务用户

groupadd kibana

useradd kibana -g kibana -p kibana

授予权限给kibana目录

chown -R kibana.kibana /opt/kibana/kibana

切换用户启动kibana服务

su kibana

nohup /opt/kibana/kibana/bin/kibana > /opt/kibana/kibana/kibana.log &

查看kibana服务是否正常

netstat -tlpn |grep 5601

logstash部署 

安装logstash服务也需要java环境，因为和es在同一台机器上，就不需要再部署java环境了

在官网下载Logstash的安装包，本次搭建选择了7.17.10版本

Past Releases of Elastic Stack Software | Elastic

新建目录，将安装包上传到主机中并解压更改名称

mkdir /opt/logstash

cd /opt/logstatsh

tar -zxvf logstash-7.17.10-linux-x86_64.tar.gz

mv logstash-7.17.10-linux-x86_64 logstatsh

ls /opt/logstash

filebeat部署

在官网下载filebeat的安装包，本次搭建选择了7.17.10版本

Past Releases of Elastic Stack Software | Elastic

新建目录，将安装包上传到主机中并解压更改名称

mkdir /opt/filebeat

cd /opt/filebeat

tar -zxvf filebeat-7.17.10-linux-x86_64.tar.gz

mv filebeat-7.17.10-linux-x86_64 filebeat

ls /opt/filebeat

 4.服务配置

先配置filebeat收集nginx日志

vi /opt/filebeat/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
     - /var/log/nginx/access.log    #配置收集日志的路径
  fields:                         #为该日志定义一个字段，供后面调用
     topic: nginx-access-log
  tail_files: true

- type: log

  enabled: true
  paths:
    - /var/log/nginx/error.log
  fields:
     topic: nginx-error-log
  tail_files: true

# ------------------------------ kafka Output -------------------------------
output.kafka:
  enabled: true 
  hosts: ["10.1.60.112:9092","10.1.60.114:9092","10.1.60.115:9092"]   #kafka集群地址
  topic: '%{[fields][topic]}'    #调用前面的日志字段，来自动写入对应的主题

先不启动filebeat，等启动了logstash再启动filebeat

编辑logstash配置文件

input {
  kafka {
    bootstrap_servers => "10.1.60.112:9092,10.1.60.114:9092,10.1.60.115:9092"
    client_id => "nginx"
    group_id => "nginx"    #配置消费者组，避免重复消费的关键
    auto_offset_reset => "latest"    #配置偏移策略，latest当消费者发现分区的偏移量无效或不存在时，将从分区的最新可用偏移量开始消费。这意味着消费者将只消费从订阅时刻之后发布的消息，之前的消息将被忽略，earliest当消费者发现分区的偏移量无效或不存在时，将从分区的最早可用偏移量开始消费。这意味着消费者将从分区的开头开始消费消息，无论之前是否有消费记录
    consumer_threads => 1   #配置消费线程
    decorate_events => true
    topics => ["nginx-access-log","nginx-error-log"]  #配置kafka存储数据的主题
    codec => json    #将kafka数据格式转换成json格式
  }
}

filter {
  if [fields][topic] == "nginx-access-log" {   #通过判断主题名称去将指定主题中的日志转化为结构化日志
    grok {
      match => {
        "message" => "%{IP:ip} - (%{USERNAME:remote_user}|-) \[%{HTTPDATE:timestamp}\] \"%{WORD:request_method} %{URIPATHPARAM:request_url} HTTP/%{NUMBER:http_version}\" %{NUMBER:http_status} %{NUMBER:bytes} \"(%{DATA:referrer}|-)\" \"%{DATA:http_agent}\" \"(%{DATA:forwarded}|-)\""
      }
    }
  }
  else if [fields][topic] == "nginx-error-log" {
    grok {
      match => {
        "message" => "%{DATA:timestamp} \[%{WORD:severity}\] %{NUMBER:pid}#%{NUMBER:tid}: %{GREEDYDATA:prompt}"
      }
    }
  }
}

output {
#  stdout{
#    codec => rubydebug
#  }
  elasticsearch {
    hosts => ["http://10.1.60.114:9200","http://10.1.60.115:9200","http://10.1.60.118:9200"]
    index => "%{[@metadata][kafka][topic]}-%{+YYYY.MM.dd}"   #通过主题名称和时间去规定索引的名称，使用主题的变量去自动获取不同主题的数据
  }
}

关于多节点logstash的配置，配置文件也是和以上的相同即可，只是kafka的client_id项需要配置不同的值，这里我没有配置日志过滤，需要过滤的可以参照以下链接中的文章去配置，grok的说明也可以看以下的文章去理解

mutate使用：mutate使用(日志过滤)_Apex Predator的博客-CSDN博客

grok使用： grok使用(将日志结构化)_Apex Predator的博客-CSDN博客

启动所有logstash服务

 nohup /opt/logstash/logstash/bin/logstash -f /opt/logstash/logstash/config/logstash.conf > /opt/logstash/logstash/logstash.log &

启动所有filebeat服务

 nohup /opt/filebeat/filebeat/filebeat -e -c /opt/filebeat/filebeat/filebeat.yml > /opt/filebeat/filebeat/filebeat.log &

5.生成日志查看效果

访问nginx服务，需要访问filebeat收集的nginx日志的服务

 安装压测工具，使用压测工具去测试

yum -y install httpd-tools

ab -n 20 -c 4 10.1.60.114/

 使用kibana查看是否生成对应的索引与收集的日志数量是否正确

因为我是已经使用过了，所以本身是有数据的，但是新的话，会看到创建了这个索引，并且收集到了20条日志数据

也可以观察kafka的topic数据情况

 查看日志数据也可以发现，日志是没有问题的

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/35943.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

软件UI工程师的职责模板

软件UI工程师的职责模板

软件UI工程师的职责模板1 职责： 1.负责产品的UI视觉设计(手机软件界面 网站界面 图标设计产品广告及 企业文化的创意设计等); 2.负责公司各种客户端软件客户端的UI界面及相关图标制作; 3.设定产品界面的整体视觉风格; 4.为开发工程师创建详细的界面说明文档&…
阅读更多...
TiDB（6）：数据迁移-TiDB Lightning

TiDB（6）：数据迁移-TiDB Lightning

1 TiDB Lightning介绍 TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具，目前支持 Mydumper 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning： 迅速导入大量新数据。 备份恢复所有数据。 TiDB Lightning 主要包含两个部分…
阅读更多...
路由的介绍

路由的介绍

目录 路由器的转发原理：路由表 路由——指示路由器去往未知网段的方法 路由器的转发原理：路由表 当一个数据包来到路由器，路由器将基于数据包中的目标IP地址查询自身的路由表，如果路由表中有相应的记录，则无条件根据…
阅读更多...
VMware16.0安装教程和创建

VMware16.0安装教程和创建

许可证： ZF3R0-FHED2-M80TY-8QYGC-NPKYFYF390-0HF8P-M81RQ-2DXQE-M2UT6ZF71R-DMX85-08DQY-8YMNC-PPHV8设置网络 添加镜像 下载centos7镜像网址https://mirrors.aliyun.com/centos/7/isos/x86_64/?spma2c6h.25603864.0.0.d7724511YPrZpg win10镜像地址https://ww…
阅读更多...
【Spring boot+VUE2+Android 7.1】智慧校园源码

【Spring boot+VUE2+Android 7.1】智慧校园源码

一、智慧校园实现了智慧校园基础数据的统一管理，通过此平台提供教师基础信息管理、学生基础信息管理、用户认证管理、权限管理、资源管理、应用管理、第三方应用接入等基础功能与服务。 二、源码包含：电子班牌管理系统、成绩管理系统、考勤人脸刷卡管理系…
阅读更多...
总结STM32嵌入式面试知识点

总结STM32嵌入式面试知识点

一、STM32F1和F4的区别？ 内核不同：F1是Cortex-M3内核，F4是Cortex-M4内核；主频不同：F1主频72MHz，F4主频168MHz；浮点运算：F1无浮点运算单位，F4有；功能性能&…
阅读更多...
MySQL之数据库引擎详解（内附面试题：InnoDB和MyISAM的联系与区别）

MySQL之数据库引擎详解（内附面试题：InnoDB和MyISAM的联系与区别）

🥳🥳Welcome Huihuis Code World ! !🥳🥳 接下来看看由辉辉所写的关于MySQL数据库引擎的相关操作吧 目录 🥳🥳Welcome Huihuis Code World ! !🥳🥳 一. 数据库引擎是什么&#xff…
阅读更多...
LinuxCP插件virtio与内核vhost

LinuxCP插件virtio与内核vhost

以下为LCP创建的接口对，VPP侧为物理接口port7，映射到Linux侧的为虚拟接口hostap1，接口hostap1作为vhost的后端存在。VPP侧接口tap1为前端的virtio接口。 vpp# show lcp itf-pair: [0] port7 tap1 hostap1 24 type tap vdp# vdp# show interf…
阅读更多...
【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（7 月 3 日论文合集）

【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（7 月 3 日论文合集）

文章目录 一、分割|语义相关(4篇)1.1 SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs1.2 Achieving RGB-D level Segmentation Performance from a Single ToF Camera1.3 Topological Data Analysis Guided Segment Anything Model Prompt Op…
阅读更多...
双非本大二上岸大厂——念念不忘，必有回响

双非本大二上岸大厂——念念不忘，必有回响

⭐️前言⭐️ 博主就读于一所普通的学校（双非本），在大二下学期3月份开始网上投递简历，历时近百余天，投递简历500，面试近40余场，最终在6月份学期末，斩获了两个大厂offer（北…
阅读更多...
开发框架前后端分离的好处是什么

开发框架前后端分离的好处是什么

关于将前端和后端保持在一起或分开，存在广泛的意见分歧。唯一重要的是，这两个组件对于开发成熟的应用程序都是必需的。 考虑：紧密耦合的前端和后端 许多人认为后端和前端的分离是一个坏主意，这两个角色之间没有太大区别。 以下…
阅读更多...
MySQL-SQL存储过程/触发器详解（下）

MySQL-SQL存储过程/触发器详解（下）

♥️作者：小刘在C站 ♥️个人主页： 小刘主页 ♥️努力不一定有回报，但一定会有收获加油！一起努力，共赴美好人生！ ♥️学习两年总结出的运维经验，以及思科模拟器全套网络实验教程。专栏&#xf…
阅读更多...
计算机体系结构基础知识介绍之缓存性能的十大进阶优化之编译器优化和硬件预取（六）

计算机体系结构基础知识介绍之缓存性能的十大进阶优化之编译器优化和硬件预取（六）

优化七：编译器优化，降低miss率 处理器和主内存之间不断扩大的性能差距促使编译器编写者仔细检查内存层次结构，看看编译时优化是否可以提高性能。再次，研究分为指令缺失的改进和数据缺失的改进。接下来介绍的优化可以在许多现代编…
阅读更多...
【图像识别】openCV基础知识

【图像识别】openCV基础知识

图像处理基础 一、使用OpenCV前要准备的工作1.先导入需要用到的库2.自定义，图片展示函数 二、开始学习常用函数1.生成随机整数①. 函数说明②.代码a. 二维灰度图b. 三维彩色图 ③.代码现象a. 二维灰度图b. 三维彩色图 2.通道的分离与合并①先导入一张图片② 将其RGB…
阅读更多...
Python获取指定路径下所有文件的绝对路径

Python获取指定路径下所有文件的绝对路径

import osdef get_file_path_by_name(file_dir, format.JPG):获取指定路径下所有文件的绝对路径:param file_dir::return:L []for root, dirs, files in os.walk(file_dir): # 获取所有文件for file in files: # 遍历所有文件名if os.path.splitext(file)[1] format: L.ap…
阅读更多...
typeScript(持续吐血版)

typeScript(持续吐血版)

typeScript-02-进阶(TSVue3) 结合vue3来使用TypeScript 使用vite来创建vue3TS的项目 使用vite创建项目，并选择带ts的版本 npm create vitelatest my-vue-ts-app – --template vue-ts 参考链接：https://vuejs.org/guide/typescript/composition-api…
阅读更多...
深度学习基础

深度学习基础

1 机器学习、深度学习、人工智能 1.1 机器学习 机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能的学科。 基本步骤：获取数据、数据预处理、特征提取、特征选择…
阅读更多...
FFmpeg5.0源码阅读—— avcodec_send_packetavcodec_receive_frame

FFmpeg5.0源码阅读—— avcodec_send_packetavcodec_receive_frame

摘要：本文主要描述了FFmpeg中用于解码的接口的具体调用流程，详细描述了该接口被调用时所作的具体工作。   关键字：ffmpeg、avcodec_send_packet、avcodec_receive_frame   读者须知：读者需要了解FFmpeg的基本使用流程&#xf…
阅读更多...
MySQL 主从复制[异步 同步 半同步复制] 读写分离 优化 （非常重要）

MySQL 主从复制[异步 同步 半同步复制] 读写分离 优化 （非常重要）

MySQL 主从复制 1、什么是读写分离？ 读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据…
阅读更多...
计算机网络概述（三）

计算机网络概述（三）

常见的计算机网络体系结构 OSI体系结构： 物理层→数据链路层→网络层→运输层→会话层→表示层→应用层 TCP/IP体系结构： 网络接口层→网际层→运输层→应用层 一般用户的设备都有TCP/IP协议用于连接因特网，TCP/IP的网络接口层并没有规定使用…
阅读更多...
最新文章

Copyright @ 2022~2023