filebeat(远程收集日志工具)

(一)filebeat

1、filebeat和logstash相同
(1)filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动时使用的资源要小的多
(2)filebeat可以运行在非Java环境、可以代理logstash在非Java环境上收集日志
(3)filebeat无法实现数据的过滤,一般结合logstash的数据过滤功能一块使用
(4)fileteat收集的数据可以发往多个主机,远程收集

(二)部署filebeat(要收集哪台服务器的日志就部署在哪台服务器上)

1、安装filebeat(解压即可)

2、编辑配置文件

指定工作目录:编辑.conf文件

3、所有服务器配置时间同步

yum install ntpdate -y

ntpdate ntp.aliyun.com

4、yum安装nginx

5、访问测试

(三)直接收集nginx的日志

1、赋权(让filebeat读取数据)

2、编辑filebeat的配置文件

3、编辑logstash日志文件

4、开启filebeat日志收集

nohup ./filebeat -e -c filebeat.yml > filebeat.out &

nohup:表示在后台记录执行命令的过程
./filebeat:运行文件
-e:使用标准输出的同时进行syslog文件输出
-c:指定配置文件
执行过程输出到filebeat.out这个文件中,&后台运行
(1)检测是否报错:tail -f filebeat.out

(2)运行logstash:logstash -f nginx.conf --path.data /opt/test5 &

5、访问测试

6、logstash收集日志的过程

(1)input:从哪里收集
(2)output:发送es实例
(3)filter:过滤

以上还是本地收集

(四)远程收集多个日志

1、打开mysql的日志功能:

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装nginx和http

3、访问测试

4、依赖filebeat收集日志

(1)安装filebeat

(2)编辑filebeat的配置文件

指定多个服务的模块:

(3)创建日志文件

5、运行filebeat和logstash

nohup ./filebeat -e -c filebeat.yml > filebeat.out &
logstash -f nhm_21.conf --path.data /opt/test9 &

(1)logstash可以使用任意端口,只要没被占用都可以使用,推荐从1024之后开始
修改logstash的端口:

6、检测

以上实现多主机远程收集

(五)logstash性能上的优化

1、logstash启动是在jvm虚拟机当中,启动一次至少500M内存

pipeline:workers:2

logstash的工作线程,默认值就是CPU数,给一半即可

pipeline.batch.size:125

一次性能够批量处理检索事件的大小125条数。默认200

pipeline.batch.delay:50

查询更新的延迟,50毫秒,也可以自行调整,生产中15、10(也要看机器的性能)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/196828.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

初始化的内容写到析构函数中。。。。。。。

大概是,把应该在构造函数中初始化的堆栈窗体代码写到了析构函数中。。。。 不是因为没掌握构造/析构,而是。。。。 检查了四十多分钟没检查出来。。 被自己蠢哭。 #include "widget.h"Widget::Widget(QWidget *parent): QWidget(parent) { }…

数学老师怎么和家长沟通

作为一名数学老师,与家长建立良好的沟通关系是非常重要的。以下是我个人认为可以帮助与家长有效沟通的建议: 建立良好的第一印象 第一次与家长接触时,要尽可能展现出你的专业素养和热情。在交流中,要表达出你对孩子的关心和重视&…

全面介绍SSO(单点登录)

全面介绍SSO(单点登录) SSO英文全称Single SignOn,单点登录。SSO是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。它包括可以将这次主要的登录映射到其他应用中用于同一个用户的登录的机制。它是目前比…

vue项目通过HBuilder打包成apk,实现apk自动更新下载

vue 项目通过 HBuilder 打包成 apk,实现 apk 自动更新下载 1、vue 项目通过 HBuilder 打包成 apk vue 项目在终端执行 npm run build 打包成 dist 文件,生成的 dist 文件在 项目根目录下 在 HBuilder 中 新建一个项目 默认选择 5APP 的默认模板项目…

DDD落地:有赞的生产项目,DDD如何落地?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中,最近有小伙伴拿到了一线互联网企业如有赞、阿里、滴滴、极兔、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题: 谈谈你的DDD落地经验? 谈谈你对DDD的理解&#x…

MS31542直流电机驱动芯片可Pin to Pin兼容GC3909

MS31542 是一个双全桥电机驱动。电源电压供电范围 4V 到 12V,平均电流 1.1A,电流峰值1.54A。如果需要更高的电流能力,可以将双全桥并联使用。 四个输入脚可以控制直流电机工作在正转、反转、刹车以及滑行模式,也可以控制一个步进电…

与中通支付对接

最近项目接入商户,商户需要同步给中通支付,报错两个异常已解决。 一、json报错 未接入中通SKD之前,不会报错,接入后,json转换异常。 排查后发现,中通的jar包里JSON版本太低,与自身项目的版本冲…

ARM Cortex-M核的内核态,用户态

首先,用户态和内核态是从操作系统层面上来划分的,如果没有操作系统,我可以直接运行在特权模式下,并使用特权指令。在这种情况下,我将负责管理和控制系统资源,执行关键操作,以及确保系统的安全性…

Surfer与Voxler数据处理及可视化

Surfer和Voxler分别是美国Golden Software 公司开发的用于二维和三维数据可视化软件,具有强大的数据处理和插值功能,软件主要应用于气象、环境和地质(以及生物、医学等)等领域。其中Surfer主要用于绘制二维等值线图、三维表面图以…

MySQL双主双从数据库集群搭建

1 引言 在之前的文章中提到过相关搭建方法,具体请参考《MySQL主从数据库搭建》这篇文章,本文主要讲述双主双从,双主多从集群的搭建方式。 这里要问一个问题,为什么MySQL要搭建数据库集群呢?我想应该有以下几点原因&…

Kvm 管理器突然打不开 启动虚拟系统管理器出错: g-dbus-error-quark: GDBus.Error:org.freed

环境: Ubuntu20.04 KVM mobaxterm 11.1 问题描述: 启动虚拟系统管理器出错: g-dbus-error-quark: GDBus.Error:org.freedesktop.DBus.Error.NoReply: Message recipient disconnected from message bus without replying (4)Traceback (most recen…

使用nginx代理s3服务(私有云存储)

1、背景 公司网络安全原因,私有部署s3服务的机器无法被直接访问,所以需要加一层代理,通过访问代理去访问s3服务器,这里使用nginx进行代理。使用s3服务的方式是在代码中使用官方的java s3 sdk(本文对于其他语言的官方s…

Python小知识

个人学习笔记,用于记录使用过程中好用的技巧、好用的库。 1 小知识 1.1 相对路径 1.2 打包Exe文件 命令: pyinstaller -F main.py其中-F:覆盖之前打包的文件 mian.py:需要打包的Python文件 PS:使用pyinstaller 5.1…

主机的具体权限规划:ACL的使用

目的:针对某一用户或某一组来设置特定权限需求,针对上,接着设置 ACL可以针对单一用户,文件,或者目录来进行rwx的权限设置,对于需要特殊权限的设置非常有帮助。 第一,查看文件系统是否支持&…

Apache2.4 AliasMatch导致301重定向问题?

环境:ubuntu18.04-desktop apache2版本: rootubuntu:/etc/apache2# apache2ctl -v Server version: Apache/2.4.29 (Ubuntu) Server built: 2023-03-08T17:34:33apache配置: DocumentRoot /var/www/html # Alias就没事 # Alias "/my…

工业级 S25HS01GTDPBHV030 NOR闪存,L9305EP汽车级驱动器IC,LMK03318RHSR时钟发生器,PLL(中文资料)

一、工业级 S25HS01GTDPBHV030 Semper™ NOR闪存 S25HS01GT SEMPER™ NOR Flash闪存系列是英飞凌高性能、安全而可靠的 NOR Flash解决方案。 它集成了适用于汽车、工业、通信等广泛应用的关键安全功能。 凭借 SEMPER™ NOR Flash闪存,英飞凌推出了业界首款符合 ASI…

【计算方法与科学建模】常微分方程初值问题的数值积分法:欧拉方法(向前Euler及其python实现)

文章目录 一、数值积分法1. 一般步骤2. 数值方法 二、欧拉方法(Euler Method)1. 向前欧拉法(前向欧拉法)a. 基本理论b. 典例解析c. 算法实现 常微分方程初值问题的数值积分法是一种通过数值方法求解给定初始条件下的常微分方程&am…

2019年11月13日 Go生态洞察:Go.dev - Go开发者的新枢纽

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

函数式编程:简洁与效率的完美结合

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…