ElastAlert 错误日志告警

文章目录

  • 前言
  • 一、ElastAlert 概览
    • 1.1 简介
    • 1.2 ElastAlert 特性
  • 二、ElastAlert 下载部署
    • 2.1 安装 Python3 环境
    • 2.2 下载 ElastAlert
    • 2.3 部署 ElastAlert
  • 三、接入平台
    • 3.1 对外接口层
    • 3.2 服务层

前言

ElastAlert 是 Yelp 公司基于 python 开发的 ELK 日志告警插件，Elastalert 通过查询 Elasticsearch 中的记录与定于的告警规则进行对比，判断是否满足告警条件。发生匹配时将为该告警触发一个或多个告警动作。告警规则由 ElastAlert 的 rules 定义，每个规则定义一个查询。

一、ElastAlert 概览

1.1 简介

ElastAlert 程序的设计是可靠的、高度可定制的、安装方面也是简单的并且可配置的。

它通过将 Elasticsearch 与两个组件，规则类型（rule types）以及警报（alerts）相结合进行实现。Elasticsearch 会定期的被程序查询，得出的数据经由规则类型（rule type）确定何时找到了匹配项。当找到匹配项后，会根据匹配的数据结果给出一个或多个警报。

配置方面是由一组规则（rules）进行管控，每个规则（rules）里面定义了一个查询，一个规则类型以及一组警报。

目前支持以下的报警类型：

  • Command
  • Email
  • JIRA
  • OpsGenie
  • SNS
  • HipChat
  • Slack
  • Telegram
  • Debug
  • Stomp

1.2 ElastAlert 特性

  1. 架构简单，定制灵活
  2. 支持多种匹配规则（频率、阈值、数据变化、黑白名单、变化率等）
  3. 支持多种警报类型（邮件、HTTP POST、自定义脚本等）
  4. 匹配项汇总报警，重复警报抑制，报警失败重试和过期
  5. 可用性强，状态信息保存到Elasticsearch的索引中

二、ElastAlert 下载部署

2.1 安装 Python3 环境

切换到 /data 目录下

cd /data

安装 openssl

yum -y install wget openssl openssl-devel gcc gcc-c++

下载 Python 安装包

wget https://www.python.org/ftp/python/3.6.9/Python-3.6.9.tgz

解压缩

tar -zxvf Python-3.6.9.tgz

cd Python-3.6.9 目录

cd Python-3.6.9

安装配置

./configure

编译

make && make install

建立软连接去除系统自带的 Python2

mv /usr/bin/python /usr/bin/python_old
ln -s /usr/local/python/bin/python3 /usr/bin/python
ln -s /usr/local/python/bin/pip3 /usr/bin/pip
pip install --upgrade pip

查看版本

[root@boe-dc-38 bin]# python -V
Python 3.6.9
[root@boe-dc-38 bin]# pip -V
pip 21.3.1 from /usr/local/python/lib/python3.6/site-packages/pip (python 3.6)

2.2 下载 ElastAlert

1.克隆 ElastAlert 项目

git clone https://github.com/Yelp/elastalert.git

2.安装

cd elastalert
pip install elasticsearch>=7.0.0
pip install -r requirements.txt
python setup.py install

3.安装成功后可以看到四个命令

[root@boe-dc-38 bin]# ll /usr/local/python/bin/elastalert*
-rwxr-xr-x 1 root root 396 Nov 17 13:40 /usr/local/python/bin/elastalert
-rwxr-xr-x 1 root root 422 Nov 17 13:40 /usr/local/python/bin/elastalert-create-index
-rwxr-xr-x 1 root root 430 Nov 17 13:40 /usr/local/python/bin/elastalert-rule-from-kibana
-rwxr-xr-x 1 root root 416 Nov 17 13:40 /usr/local/python/bin/elastalert-test-rule

4.软连接到 /usr/bin 下，方便使用

ln -s /usr/local/python/bin/elastalert* /usr/bin
  • elastalert 报警执行的命令，会根据报警规则执行相应操作。
  • elastalert-create-index 会创建一个索引，ElastAlert 会把执行记录存放到这个索引中，默认情况下，索引名叫 elastalert_status。其中有 4 个 _type，都有自己的 @timestamp 字段，所以同样也可以用 Kibana 来查看这个索引的日志记录情况。
  • elastalert-rule-from-kibana 从 Kibana3 已保存的仪表盘中读取 Filtering 设置，帮助生成config.yaml 里的配置。不过注意它只会读取 filtering，不包括 queries。
  • elastalert-test-rule 测试自定义配置中的 rule 设置。

5.创建 elastalert 索引

elastalert-create-index

在这里插入图片描述

2.3 部署 ElastAlert

1.主配置文件config.yaml

#加载rule的目录,默认是example_rules
rules_folder: /data/elastalter/example_rules

#设置定时向elasticsearch发送请求,也就是告警频率
run_every:
  minutes: 1

#用来设置请求里时间字段的范围
buffer_time:
  minutes: 15

#elasticsearch的ip地址和端口
es_host: 192.168.136.123
es_port: 9200

#elastalert产生的日志在elasticsearch中的创建的索引
writeback_index: elastalert_status
writeback_alias: elastalert_alerts
：1
#失败重试的时间限制
alert_time_limit:
  days: 2

2.邮件告警配置

python -m elastalert.elastalert --verbose --config /data/elastalter/config.yaml --rule /data/elastalter/example_rules/visual-chart.yaml

三、接入平台

3.1 对外接口层

@Slf4j
@RestController
@RequestMapping("/webhook")
public class WebhookController {

    @Autowired
    WebhookService webhookService;

    /**
     * 接收elastalert告警消息
     *
     * @param request
     * @return
     */
    @RequestMapping("/elastalert")
    public Result elastalert(HttpServletRequest request) throws IOException {
        //设置流的编码
        request.setCharacterEncoding("UTF-8");
        StringBuffer data = new StringBuffer();
        String line = null;
        BufferedReader reader = null;
        reader = request.getReader();
        while (null != (line = reader.readLine())) {
            data.append(line);
        }
        String result = data.toString().replace("@timestamp","timestamp");
        ElastalertAlarmMessageDTOS elastalertAlarmMessageDTOS = JSON.parseObject(result, ElastalertAlarmMessageDTOS.class);
        String jsonFlatten = JsonFlatten.jsonFlatten(elastalertAlarmMessageDTOS.getLog());
        elastalertAlarmMessageDTOS.setLog(jsonFlatten);
        log.info("请求数据===================>" + elastalertAlarmMessageDTOS);
        webhookService.handleElastalert(elastalertAlarmMessageDTOS);
        return Result.success();
    }
}

3.2 服务层

/**
 * 处理Elastalert消息
 *
 * @param alarmMessages 告警消息
 */
public void handleElastalert(ElastalertAlarmMessageDTOS alarmMessages) {
    String subject = String.format(MailConstants.ELASTALERT_SUBJECT_TEMPLATE, alarmMessages.get_index());
    String content = String.format(MailConstants.ELASTALERT_CONTENT_TEMPLATE_LARD, alarmMessages.get_index(),
            alarmMessages.get_index(), alarmMessages.getTimestamp(), alarmMessages.getLog(),
            alarmMessages.getMessage(), alarmMessages.get_id());
    try {
        msgService.sendLark(subject, content);
    } catch (Exception e) {
        log.error("发送错误日志告警通知异常, 主题:{}, 内容:{}", subject, content);
    }

    String indexName = serviceService.serviceName(alarmMessages.get_index());
    // 获取服务名称
    String serviceName = getServiceName(indexName);
    // 根据服务名获取服务信息
    TService service = serviceService.findByName(serviceName);
    if (service == null) {
        log.warn("处理Elastalert告警信息失败, 原因:未找到对应服务信息, 服务名称:{}", serviceName);
    }

    TElastalertAlarmRecord alarmRecord = new TElastalertAlarmRecord();
    alarmRecord.setAlarmTime(alarmMessages.getTimestamp().toString());
    alarmRecord.setBuId(service.getBuId());
    alarmRecord.setPath(alarmMessages.getLog());
    alarmRecord.setServiceName(serviceName);
    alarmRecord.setAlarmMessage(alarmMessages.getMessage());
    alarmRecordService.save(alarmRecord);

    // 查找该BU关联的用户
    List<TUser> users = userService.findByBuId(service.getBuId());
    users.removeIf(user -> MailConstants.WARN_SKIP_USERS.contains(user.getEmpNo()));
    if (CollectionUtils.isEmpty(users)) {
        log.warn("发送Elastalert告警通知邮件失败, 原因:未找到对应的负责人, 服务名称:{}", serviceName);
    }
    String[] to = users.stream().map(TUser::getEmail).collect(Collectors.toList()).toArray(new String[0]);
    String contentMail = String.format(MailConstants.ELASTALERT_CONTENT_TEMPLATE_LARD_MAIL, alarmMessages.get_index(),
            alarmMessages.get_index(), alarmMessages.getTimestamp(), alarmMessages.getLog(),
            alarmMessages.getMessage(), alarmMessages.get_id());
    try {
        msgService.sendHTMLMail(to, null, subject, contentMail);
    } catch (Exception e) {
        log.error("发送Elastalert告警通知邮件异常, 收件人:{}, 主题:{}, 内容:{}", to, subject, content);
    }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/376890.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

幻方（Magic Square）

幻方（Magic Square）

幻方&#xff08;Magic Square&#xff09; 幻方概述 什么是幻方呢&#xff1f;幻方&#xff08;Magic Square&#xff09;就是指在nn&#xff08;n行n列&#xff09;的方格里填上一些连续的数字&#xff0c;使任意一行、任意一列和对角线上的数字的和都相等。例如有33的3行3…
阅读更多...
【Linux】gdb调试与make/makefile工具

【Linux】gdb调试与make/makefile工具

目录 导读 1. make/Makefile 1.1 引入 1.2 概念 1.3 语法规则 1.4 示例 2. Linux调试器-gdb 2.1 引入 2.2 概念 2.3 使用 导读 我们在上次讲了Linux编辑器gcc\g的使用&#xff0c;今天我们就来进一步的学习如何调试&#xff0c;以及makefile这个强大的工具。 1. mak…
阅读更多...
VLAN间通信

VLAN间通信

VLAN间通信的三种方法 vlanif接口 最常用&#xff0c;又叫虚拟接口&#xff0c;这种方式一般使用三层交换机实现&#xff0c;它包含路由模块和交换模块&#xff0c;交换模块可以实现剥离和添加VLAN标签,路由模块实现路由功能 VLANif接口 为各自vlan的网关 # interface Vlani…
阅读更多...
Page246~250 11.1GUI下的I/O基础

Page246~250 11.1GUI下的I/O基础

11.1.1 从“控制台”说起 “命令行交互界面”&#xff08;简称CUI,也有人称为CLI)。 CUI需要我们记忆并在控制台输入命令文本内容&#xff0c;而GUI则以图形的方式呈现、组织各类命令&#xff0c;比如Windows的“开始”菜单&#xff0c;用户只需通过简单的键盘或鼠标操作&am…
阅读更多...
跳格子3 - 华为OD统一考试

跳格子3 - 华为OD统一考试

OD统一考试&#xff08;C卷&#xff09; 分值&#xff1a; 200分 题解&#xff1a; Java / Python / C 题目描述 小明和朋友们一起玩跳格子游戏&#xff0c; 每个格子上有特定的分数 score [1, -1, -6, 7, -17, 7]&#xff0c; 从起点score[0]开始&#xff0c;每次最大的步…
阅读更多...
YOLO部署实战（2）：使用OpenCV优化视频转图片流程并设置帧数

YOLO部署实战（2）：使用OpenCV优化视频转图片流程并设置帧数

在计算机视觉和图像处理领域&#xff0c;OpenCV是一个强大的开源库&#xff0c;它为处理图像和视频提供了丰富的工具和功能。本文将介绍如何使用OpenCV将视频文件转换为一系列图片&#xff0c;并演示如何通过设置转换的帧数来优化这一过程。 1 Win10配置OpenCV 在Windows操作…
阅读更多...
【Linux】基于管道进行进程间通信

【Linux】基于管道进行进程间通信

进程间通信 一、初识进程间通信1. 进程间通信概念2. 进程间通信分类 二、管道1. 管道概念2. 管道原理3. 匿名管道4. 匿名管道系统接口5. 管道的特性和情况6. 匿名管道的应用&#xff08;1&#xff09;命令行&#xff08;2&#xff09;进程池 7. 命名管道&#xff08;1&#xff…
阅读更多...
c++阶梯之类与对象（中）＜ 续集 ＞

c++阶梯之类与对象（中）＜ 续集 ＞

前文&#xff1a; c阶梯之类与对象&#xff08;上&#xff09;-CSDN博客 c阶梯之类与对象&#xff08;中&#xff09;-CSDN博客 前言&#xff1a; 在上文中&#xff0c;我们学习了类的六个默认成员函数之构造&#xff0c;析构与拷贝构造函数&#xff0c;接下来我们来看看剩下…
阅读更多...
操作系统-信号量机制（整型信号量 记录型信号量）与用信号量实现进程互斥，同步，前驱关系

操作系统-信号量机制（整型信号量 记录型信号量）与用信号量实现进程互斥，同步，前驱关系

文章目录 信号量机制总览信号量机制整型信号量记录型信号量例子记录型信号量小结 小结 用信号量实现进程互斥&#xff0c;同步&#xff0c;前驱关系总览信号量机制实现进程互斥信号量机制实现进程同步进程同步信号量实现进程同步 信号量机制实现前驱关系小结 信号量机制 总览 …
阅读更多...
索引失效问题

索引失效问题

1、 like 以%开头&#xff0c;索引无效&#xff1b;当like前缀没有%&#xff0c;后缀有%时&#xff0c;索引有效。 &#xff08;1&#xff09;创建索引 create index text1 on emp(name); &#xff08;2&#xff09;不走索引 EXPLAIN select id,name,age,workno from emp wh…
阅读更多...
什么是MVVM模型

什么是MVVM模型

MVVM&#xff08;Model-View-ViewModel&#xff09;是一种用于构建 Web 前端应用程序的架构模式。它是从传统的 MVC&#xff08;Model-View-Controller&#xff09;模型演变而来&#xff0c;旨在解决界面逻辑与业务逻辑之间的耦合问题。 在传统的 MVC 架构中&#xff0c;View …
阅读更多...
【Linux笔记】文件系统与软硬链接

【Linux笔记】文件系统与软硬链接

一、文件系统概述 1.1、先来聊一聊“磁盘” 在讲解文件系统之前&#xff0c;我觉得有必要先聊一下“磁盘”&#xff0c;因为我觉得如果弄懂了磁盘的存储原理&#xff0c;大家可能更容易理解文件系统是怎么管理数据的&#xff0c;并且理解计算机是怎么将磁盘抽象到文件系统的。…
阅读更多...
前端常用代码整理（不断更新中）— js，jquery篇

前端常用代码整理（不断更新中）— js，jquery篇

1.随机函数代码 function getRandom(min, max) {return Math.floor(Math.random() * (max - min 1)) min}2.倒计时代码 let now new Date()// 2. 得到指定时间的时间戳let last new Date(这里写想要达到的时间)// 3. &#xff08;计算剩余的毫秒数&#xff09; / 1000 剩余…
阅读更多...
如何在 Linux 中安装 s3cmd 并管理 Amazon s3 存储桶

如何在 Linux 中安装 s3cmd 并管理 Amazon s3 存储桶

概述 S3&#xff0c; – 简单存储服务- 是亚马逊的存储服务&#xff0c;为 IT 团队提供一种安全、可扩展且可靠的方式来存储和检索云上的文件和文件夹。 S3 可确保数据在需要时可用并随着需求的增长而扩展&#xff0c;从而帮助您充分利用数据。 通常&#xff0c;在登录到您的…
阅读更多...
RabbitMQ-5.消费者的可靠性

RabbitMQ-5.消费者的可靠性

消费者的可靠性 5.消费者的可靠性5.1.消费者确认机制5.2.失败重试机制5.3.失败处理策略5.4.业务幂等性5.4.1.唯一消息ID5.4.2.业务判断 5.5.兜底方案 5.消费者的可靠性 当RabbitMQ向消费者投递消息以后&#xff0c;需要知道消费者的处理状态如何。因为消息投递给消费者并不代表…
阅读更多...
【数据结构与算法】堆 / 堆排序 / TopK问题（Heap）

【数据结构与算法】堆 / 堆排序 / TopK问题（Heap）

文章目录 1.堆2.C语言实现堆2.1 堆结构与基本操作2.2 其它辅助操作2.3 堆的基本操作2.3.1 插入2.3.2 删除 3. 堆排序4. TopK5. 所有代码 1.堆 堆总是一棵完全二叉树&#xff0c;而完全二叉树更适合使用**顺序结构&#xff08;数组&#xff09;**存储&#xff0c;完全二叉树前h…
阅读更多...
阿里云企业用户2核4G5M固定带宽199元一年，续费不涨价

阿里云企业用户2核4G5M固定带宽199元一年，续费不涨价

2024年2月阿里云服务器租用价格表更新&#xff0c;云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年&#xff0c;轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核…
阅读更多...
Echarts统计用户近七日走量趋势：前后端实现

Echarts统计用户近七日走量趋势：前后端实现

&#x1f341; 作者&#xff1a;知识浅谈&#xff0c;CSDN签约讲师&#xff0c;CSDN博客专家&#xff0c;华为云云享专家&#xff0c;阿里云专家博主 &#x1f4cc; 擅长领域&#xff1a;全栈工程师、爬虫、ACM算法 &#x1f492; 公众号&#xff1a;知识浅谈 &#x1f525;网站…
阅读更多...
嵌入式学习Day14 C语言 --- 位运算

嵌入式学习Day14 C语言 --- 位运算

位运算 注意&#xff1a;符号位也遵循这个规则 一、按位与(&) 运算规则&#xff1a;一假则假 int a 0x33;a & 0x55;0011 00110101 0101 &----------0001 0001 //0x11 二、按位或(|) 运算规则&#xff1a;一真则真 int a 0x33;a |0x55;0011 00110101 0101 |…
阅读更多...
STM32Cubmax stm32f103zet6 SPI通讯

STM32Cubmax stm32f103zet6 SPI通讯

一、基本概念 SPI 是英语 Serial Peripheral interface 的缩写&#xff0c;顾名思义就是串行外围设备接口。是 Motorola 首先在其 MC68HCXX 系列处理器上定义的。 SPI 接口主要应用在 EEPROM&#xff0c; FLASH&#xff0c;实时时 钟&#xff0c; AD 转换器&#xff0c;还有数…
阅读更多...
最新文章

Copyright @ 2022~2023