【EFK日志系统】docker一键部署filebeat、metricbeat

docker一键部署filebeat、metricbeat

  • filebeat部署
    • 创建配置文件
    • 一键启动
    • 修改配置文件
    • 查验信息
  • metricbeat部署
    • 创建配置文件
    • 一键启动
    • 修改配置文件
    • 查验信息

上两篇文章写了搭建部署es集群和部署kibana

这篇写一键部署filebeat和metricbeat收集工具

规划服务器是
es01:172.23.165.185
es02:172.23.165.186
es03:172.23.165.187

每一台服务器都要部署metricbeat，用来收集系统日志，监控系统cpu、内存和流量等等，至于filebeat是否要部署取决于你的服务器上是否有应用服务、是否有服务日志需要收集，有则部署

本次filebeat、metricbeat部署在172.23.165.185，如果在其他的服务器，请修改内存映射数量、创建网络等。参考第一个
docker一键部署EFK系统（elasticsearch filebeat kibana metricbeat es-head）
【EFK日志系统】docker一键部署kibana、es-head
【EFK日志系统】docker一键部署filebeat、metricbeat
【EFK日志系统】在kibana操作索引模板、生命周期、管道等

filebeat部署

在es、kibana同级目录创建filebeat和metricbeat

mkdir {filebeat,metricbeat}

创建配置文件

1.创建docker-compose.yml文件

version: '3'
services: 
  filebeat:
    build:
      context: .
      dockerfile: Dockerfile
    image: docker.elastic.co/beats/filebeat:7.10.0
    container_name: filebeat
    privileged: true
    environment:
      - TZ=Asia/Shanghai
    restart: always
#    volumes:
#      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml:rw
#      - ./data:/usr/share/filebeat/data:rw
#      - ./logs:/usr/share/filebeat/logs:rw
#      - ./modules.d:/usr/share/filebeat/modules.d:rw
    networks:
      - es-net

networks:
  es-net:
    external: true

2.创建Dockerfile

FROM docker.elastic.co/beats/filebeat:7.10.0

#COPY ./filebeat.yml /usr/share/filebeat/

一键启动

创建完文件后执行

docker-compose up -d

查看该容器是否正常启动

docker ps

启动正常执行

docker cp -a filebeat:/usr/share/filebeat/data .
docker cp -a filebeat:/usr/share/filebeat/logs .
docker cp -a filebeat:/usr/share/filebeat/modules.d .
docker cp -a filebeat:/usr/share/filebeat/filebeat.yml .

修改配置文件

1.取消docker-compose.yml的注释部分

即卷映射部分注释打开

2.取消Dockerfile的注释部分

即COPY ./filebeat.yml /usr/share/filebeat/

3.编写filebeat.yml
刚刚我们将filebeat.yml复制出来了，在本级目录编写修改

setup.template.enabled: false          #关闭自动加载默认索引模板
setup.ilm.enabled: false  			#关闭默认生命周期
setup.template.overwrite: true       #打开同名覆盖强写
setup.template.name: "application-logs"          #这是你的索引模板名称，下一篇文章创建
setup.template.pattern: "application-logs-*"

logging.level: info
logging.selectors: ["*"]

filebeat.inputs:

  - type: log
    id: java-app1
    enabled: true
    paths:
      - /usr/share/filebeat/datalog/java-app1/*.log   #容器内的日志路径，我们通过volumes将容器外即你的宿主机的日志（想要采集的日志）映射进容器内
    fields:							#自定义预采集服务的各个字段
      env: test
      application: java-app1         
      log_type: app1_log
    ignore_older: 168h						#只采集最新7天的日志
    multiline:									#通过识别时间戳进行多行合并，例如个别日志报错会出现数十行，其实都是一条日志，我们通过时间戳来合并他们
      pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}'
      negate: true
      match: after


  - type: log
    id: java-app2
    enabled: true
    paths:
      - /usr/share/filebeat/datalog/java-app2/*.log
    fields:
      env: test
      application: java-app2
      log_type: app2_log
    ignore_older: 168h
    multiline:
      pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}'
      negate: true
      match: after

  - type: log
    id: java-app4
    enabled: true
    paths:
      - /usr/share/filebeat/datalog/java-app4/*.log
    fields:
      env: test
      application: java-app4
      log_type: app4_log
    ignore_older: 168h
    multiline:
      pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}'
      negate: true
      match: after

processors:           #解析处理器，可以拆分日志，或者增加字段等
  - add_fields:
      target: 'host'
      fields:
        ip: '172.23.165.185'

output.elasticsearch:
  hosts: [ "http://172.23.165.185:9200", "http://172.23.165.186:9200", "http://172.23.165.187:9200" ]
  username: "elastic"
  password: "你的密码"
  index: "application-logs-%{[fields.env]}-%{[fields.application]}-%{+yyyy.MM.dd}"			#自定义index名称，在kibana便于查找
  pipeline: "remove_specific_fields_pipeline"		#管道，阻挡无用字段传输，比如我只需要host.ip，但是除了ip给我传输其他的一大堆，就需要管道拦截（当然不科学哈哈哈）
setup.kibana:
  host: "http://172.23.165.185:5601"
  username: "elastic"
  password: "你的密码"

而后在docker-compose.yml修改镜像迭代启动

查验信息

1.查看是否收到索引信息
终端输入：curl -u elastic:密码 -X GET “http://172.23.165.185:9200/_cat/indices?v&pretty”
2.浏览器输入：http://172.23.165.185:9200/_cat/indices?v&pretty

在这里插入图片描述

也可以登录es-head查看具体的索引信息
172.23.165.185:9100

在界面输入框输入url：
http://elastic:密码@172.23.165.185:9200/

metricbeat部署

创建配置文件

1.创建docker-compose.yml文件

version: '3'
services:
  metricbeat:
    build:
      context: .
      dockerfile: Dockerfile
    image: docker.elastic.co/beats/metricbeat:7.10.0
    container_name: metricbeat
    privileged: true
    network_mode: host
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /sys/fs/cgroup:/hostfs/sys/fs/cgroup:ro
      - /proc:/hostfs/proc:ro
      - /:/hostfs:ro
#      - ./metricbeat.yml:/usr/share/metricbeat/metricbeat.yml:rw
#      - ./data:/usr/share/metricbeat/data:rw
#      - ./logs:/usr/share/metricbeat/logs:rw
#      - ./modules.d:/usr/share/metricbeat/modules.d:rw
    environment:
      - ELASTICSEARCH_HOSTS=http://172.23.165.185:9200,http://172.23.165.186:9200,http://172.23.165.187:9200
    restart: always
#    networks:
#      - es-net

#networks:
#  es-net:
#    external: true

2.创建Dockerfile文件

FROM docker.elastic.co/beats/metricbeat:7.10.0

#COPY metricbeat.yml /usr/share/metricbeat/metricbeat.yml

一键启动

创建完文件后执行

docker-compose up -d

查看该容器是否正常启动

docker ps

启动正常后执行

docker -a cp metricbeat:/usr/share/metricbeat/data .
docker -a cp metricbeat:/usr/share/metricbeat/logs .
docker -a cp metricbeat:/usr/share/metricbeat/modules.d .
docker cp -a metricbeat:/usr/share/metricbeat/metricbeat.yml .

修改配置文件

1.取消docker-compose.yml的注释部分

即卷映射部分注释打开

2.取消Dockerfile的注释部分

即COPY metricbeat.yml /usr/share/metricbeat/metricbeat.yml

3.编写metricbeat.yml
刚刚我们将metricbeat.yml复制出来了，在本级目录编写修改

# metricbeat.yml
metricbeat.config.modules:
  path: /usr/share/metricbeat/modules.d/system.yml            #采用默认采集模板
  reload.enabled: false

setup.template.enabled: false
setup.ilm.enabled: false
setup.template.overwrite: true
setup.template.name: "system"			#索引模板名称
setup.template.pattern: "system-*"
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression

logging.level: info
logging.selectors: ["*"]

setup.kibana:
  host: "http://172.23.165.185:5601"
  username: "elastic"
  password: "密码"

output.elasticsearch:
  hosts: ["http://172.23.165.185:9200", "http://172.23.165.186:9200", "http://172.23.165.187:9200"]
  username: "elastic"
  password: "密码"
  index: "system-monitor-test-172.23.165.185-%{+yyyy.MM.dd}"

processors:			#这个部分可以自定义
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - script:					#这个是过滤docker的ip，我们只采集宿主机的
      lang: javascript
      id: "retain-first-ip"
      source: >
        function process(event) {
          var ip = event.Get("host.ip");
          if (ip && ip.length > 0) {
            event.Put("host.ip", [ip[0]]);
          }
        }
  - drop_fields:					#这个是过滤这两个字段的，因为他们很占篇幅
      fields: ["host.mac", "host.os"]
  - add_fields:				#这个是添加字段，比如测试、生产环境
      target: ''
      fields:
        env: 'test'



monitoring:
  enabled: true
  elasticsearch:
    hosts: ["http://172.23.165.185:9200", "http://172.23.165.186:9200", "http://172.23.165.187:9200"]
    username: "elastic"
    password: "密码"

4.编写system.yml（在metricbeat的modules.d）

给这个解除system.yml.disabled

# Module: system
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-system.html

- module: system
  period: 10s
  metricsets:
    - cpu
    - load
    - memory
    - network
    - process
    - process_summary
    - socket_summary
    #- entropy
    #- core
    #- diskio
    #- socket
    #- service
    #- users
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory

- module: system
  period: 1m
  metricsets:
    - filesystem
    - fsstat
  processors:
  - drop_event.when.regexp:
      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib|snap)($|/)'

- module: system
  period: 15m
  metricsets:
    - uptime

#- module: system
#  period: 5m
#  metricsets:
#    - raid
#  raid.mount_point: '/'

查验信息

1.查看是否收到索引信息
终端输入：curl -u elastic:密码 -X GET “http://172.23.165.185:9200/_cat/indices?v&pretty”
2.浏览器输入：http://172.23.165.185:9200/_cat/indices?v&pretty

在这里插入图片描述

也可以登录es-head查看具体的索引信息
172.23.165.185:9100

在界面输入框输入url：
http://elastic:密码@172.23.165.185:9200/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/666793.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

段码屏|液晶显示模块|超低功耗LCD驱动芯片

段码屏|液晶显示模块|超低功耗LCD驱动芯片

1 简介 PC164S32 是一款支持 128 点 (32 4)显示 的多功能 LCD 控制器芯片，内部存储器RAM数据直接映射到 LCD 显示。可软件配置特性使其适用于包括 LCD 模块和显示子系统在内的多种 LCD 应用。主控制器与 PC164S32接口仅需3 或 4 条线。内置的省电模式极大的降低了功…
阅读更多...
MYSQL四大操作——查！查！查！

MYSQL四大操作——查！查！查！

目录 简洁版： 详解版： SQL通用语法： 分类： 1. DDL —库 1.1 查询： 1.2 创建： 1.3 删除 1.4 使用库 2. DDL—表 2.1 查询 2.1.1 查询当前库的所有表： 2.1.2 查询表结构 ： 2.1.…
阅读更多...
【云原生】Kubernetes----POD控制器

【云原生】Kubernetes----POD控制器

目录 引言 一、Pod控制器概述 二、Pod控制器的种类 （一）ReplicaSet （二）Deployment （三）StatefulSet （四）DaemonSet （五）Job 三、使用POD控制器 &a…
阅读更多...
江苏大信环境科技有限公司：环保领域的开拓者与引领者

江苏大信环境科技有限公司：环保领域的开拓者与引领者

2009 年，江苏大信环境科技有限公司在宜兴环保科技工业园成立。自创立之始，该公司便笃定坚守“诚信为本、以质量求生存、以创新谋发展”这一经营理念，全力以赴为客户构建专业的工业有机废气治理整体解决方案，进而成为国家高新技术企…
阅读更多...
Vxe UI vxe-upload 上传组件，显示进度条的方法

Vxe UI vxe-upload 上传组件，显示进度条的方法

vxe-upload 上传组件 查看官网 https://vxeui.com 显示进度条很简单，需要后台支持进度就可以了，后台实现逻辑具体可以百度，这里只介绍前端逻辑。 上传附件 相关参数说明，具体可以看文档： multiple 是否允许多选 li…
阅读更多...
6.5 Go 指针

6.5 Go 指针

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…
阅读更多...
微信小程序上架，AI类目审核（AI问答、AI绘画、AI换脸）

微信小程序上架，AI类目审核（AI问答、AI绘画、AI换脸）

小程序对于生成式AI类目的产品上架审核较为严格，这也是近两年新增了几个类目，一旦小程序中涉及生成式AI相关的内容，如果你选择相应类目，但审核被划归为这一类，都需要准备此类目的审核，才能正常上架。 如果…
阅读更多...
Open3D(C++) Ransac拟合多项式曲线

Open3D(C++) Ransac拟合多项式曲线

目录 一、算法原理一、代码实现三、结果展示本文由CSDN点云侠原创，Open3D(C++) Ransac拟合多项式曲线，爬虫自重。如果你不是在点云侠的博客中看到该文章，那么此处便是不要脸的爬虫与GPT生成的文章。 一、算法原理 RANSAC（Random Sample Consensus）是一种用于拟合模型的迭…
阅读更多...
dockers安装mysql

dockers安装mysql

1.dockerhub上搜索自己需要安装得镜像版本 dockerhub网址：https://hub-stage.docker.com docker pull mysql:5.7 #下载自己需要得版本2.启动容器实例，并且挂载容器数据卷 docker run -d -p 3306:3306 --privilegedtrue \ -v /home/mysql/log:/var/log/…
阅读更多...
WireShark抓包软件的使用 上海商学院 计算机网络 实验作业3

WireShark抓包软件的使用 上海商学院 计算机网络 实验作业3

实验目的 （1）熟悉wireShark软件操作界面和操作步骤； （2）学会捕获过滤器的设置方法； （3）学会显示过滤器的设置方法； （4）学会使用捕获报文的统计…
阅读更多...
全栈工程师需要具备哪些技能？

全栈工程师需要具备哪些技能？

概论： 全栈工程师是一位能够从头到尾构建 Web 应用程序的工程师，能独立完成产品。技术包括前端部分、后端部分和应用程序所在的基础架构。他们在整个技术栈中工作，并了解其中的每个部分。从需求分析开始，到概要设计，详…
阅读更多...
【计算机网络】——物理层（图文并茂）

【计算机网络】——物理层（图文并茂）

物理层 一.物理层概述1.物理层要实现的功能2.物理层接口特征1.机械特性2.电气特性3.功能特性4.过程特性 二.物理层下面的传输媒体1.传输媒体的分类2.导向型传输媒体1.同轴电缆2.双绞线3.光纤 3.非导向型传输媒体1.无线电波2.微波3.红外线4.激光5.可见光 三.传输方式1.串行传输与…
阅读更多...
小学数学出题器-Word插件-大珩助手

小学数学出题器-Word插件-大珩助手

Word大珩助手是一款功能丰富的Office Word插件，旨在提高用户在处理文档时的效率。它具有多种实用的功能，能够帮助用户轻松修改、优化和管理Word文件，从而打造出专业而精美的文档。 【新功能】小学数学出题器 1、实现了难度设定；…
阅读更多...
生成ssh密钥，使用ssh连接linux系统

生成ssh密钥，使用ssh连接linux系统

这里写目录标题 ssh密钥大概介绍1、密钥在哪里生成（客户端/服务器）？2、密钥生成是什么样子的？ ssh （生成密钥、密钥传输、配置连接、连接服务）过程1、生成密钥提示一：输入保存密钥的文件&#x…
阅读更多...
知名专业定制线缆知名智造品牌推荐-精工电联：解决水下机器人线缆行业痛点的领航者

知名专业定制线缆知名智造品牌推荐-精工电联：解决水下机器人线缆行业痛点的领航者

在科技日新月异的今天，精工电联作为高科技智能化产品及自动化设备专用连接线束和连接器配套服务商，致力于为高科技行业提供高品质、高性能的集成线缆和连接器定制服务。我们不仅是高品质定制线缆供应商，更是水下机器人线缆行业痛点的有效解决…
阅读更多...
Linux静态库与动态库加载

Linux静态库与动态库加载

了解库： 关于库相比大家之前肯定使用过，比如C/C里面的标准库，STL里面的各种库，我们在调用STL里的容器时都需要使用库，那么库到底是什么呢？ 库的本质就是可执行程序的"半成品" 我们先来回顾一下代…
阅读更多...
html中table 的边框合并 cellspacing

html中table 的边框合并 cellspacing

cellspacing中的数值代表单元格间距 cellspacing“0”代表没有间距&#xff0c;也是常用的方式 <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title></title> </head> <body><h4>没有单元格间…
阅读更多...
python实现——综合类型数据挖掘任务（无监督的分类任务）

python实现——综合类型数据挖掘任务（无监督的分类任务）

综合类型数据挖掘任务 航空公司客户价值分析。航空公司客户价值分析。航空公司客户价值分析。航空公司已积累了大量的会员档案信息和其乘坐航班记录&#xff08;air_data.csv&#xff09;&#xff0c;以2014年3月31日为结束时间抽取两年内有乘机记录的所有客户的详细数据。利用…
阅读更多...
Python使用动态代理的多元应用

Python使用动态代理的多元应用

Python作为一种功能强大且易于学习的编程语言&#xff0c;在网络编程领域具有广泛的应用。当Python与动态代理技术结合时&#xff0c;便开启了一扇通往更多可能性的大门。以下将深入探讨Python使用动态代理可以实现的多种应用。 首先&#xff0c;Python结合动态代理在网络爬虫…
阅读更多...
WebRTC 各端的互联互通

WebRTC 各端的互联互通

WebRTC 各端的互联互通 WebRTC 各端的互联互通WebRTC Native 的核心一对一通信的时序图发起通话接收通话关闭通话 Android 端的实现iOS 端的实现各开发方案的比较参考 WebRTC 各端的互联互通 WebRTC Native 的核心 正如 WebRTC Web 端的核心是 RTCPeerConnection&#xff0c;…
阅读更多...
最新文章

Copyright @ 2022~2023