prometheus+alertmanager+webhook钉钉机器人告警

版本：centos7.9 python3.9.5 alertmanager0.25.0 prometheus2.46.0

安装alertmanager prometheus 配置webhook

# 解压：
tar -xvf alertmanager-0.25.0.linux-amd64.tar.gz
tar -xvf prometheus-2.46.0.linux-amd64.tar.gz
mv alertmanager-0.25.0.linux-amd64 alertmanager
mv prometheus-2.46.0.linux-amd64 prometheus

# 安装Python
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel
cd /app
wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
tar -xvf Python-3.9.0.tgz
cd Python-3.9.0
./configure prefix=/usr/local/python3
make &&  make install
yum install gcc libffi-devel  openssl-devel -y  
ln -s /usr/local/python3/bin/python3.9 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.9 /usr/bin/pip3
pip3 install -U pip

#配置webhook
pwd
/app/jiankong
cd /app
mdkir webhook
cd webhook
yum epel-release -y
yum install openssl11 openssl11-devel
pip3 install urllib3==1.26.15
pip3 install --upgrade cryptography
pip3 install --upgrade pyopenssl
pip3 install --upgrade requests
pip3 install flask
vim /app/webhook/main.py

#!/usr/local/bin/python3
# coding: utf-8
import json
from datetime import datetime
import requests
from requests.exceptions import RequestException
from flask import Flask
from flask import request

app = Flask(__name__)

@app.route('/', methods=['POST'])
def send_wechat():
    if request.method == 'POST':
        post_data = request.get_data()
        data = json.loads(post_data.decode('utf-8'))
        for alert in data.get('alerts'):
            webchat(alert)
    return "success\n"

@app.route('/dingtalk', methods=['POST'])
def send_dingtalk():
    if request.method == 'POST':
        post_data = request.get_data()
        data = json.loads(post_data.decode('utf-8'))
        access_token = 'dxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxb'
        for alert in data.get('alerts'):
            content = dingtalk_msgformat(alert)
            dingding_sendmsg(access_token, content)
    return "success\n"

@app.route('/prometheus_dingtalk', methods=['POST'])
def send_prodingtalk():
    if request.method == 'POST':
        post_data = request.get_data()
        data = json.loads(post_data.decode('utf-8'))
        access_token = '8xxxxxxxxxxxxxxxxxxxxxxxxxxx0'   #设置钉钉机器人
        for alert in data.get('alerts'):
            content = dingtalk_msgformat(alert)
            dingding_sendmsg(access_token, content)
    return "success\n"

@app.route('/dingding_send', methods=['POST'])
def dingding_send():
    if request.method == 'POST':
        post_dingding_data = request.get_data()
        json_dingding_data = json.loads(post_dingding_data.decode('utf-8'))
        content = json_dingding_data["content"]
        access_token = json_dingding_data["access_token"]
        dingding_sendmsg(access_token, content)
    return "ok"

def webchat(data):
    url = 'http://92.168.60.xxx:4567/send'
    users_list = []
    usernames = {}
    with open('/app/webhook/users', encoding='utf-8') as f:
        usernames = dict(line.strip().split(':') for line in f if line)      
    users_cn = data.get('annotations').get('sendUsers')
    for i in users_cn.split(','):
        if usernames.get(i):
            users_list.append(usernames.get(i))
    users = ','.join(users_list)
    message = '''status: %s
alertlevel: %s
alertname: %s
message: %s
startsAt: %s
endsAt: %s
消息发送时间: %s
消息发送给: %s''' % (data.get('status'), data.get('annotations').get('severity'), data.get('labels').get('alertname'),
                    data.get('annotations').get('message'), data.get('startsAt'), data.get('endsAt'),
                    datetime.now().isoformat(), users_cn)
    params = {'tos': users, 'content': message}
    requests.post(url=url, data=params)


def dingtalk_msgformat(data):
    message = f'''status: {data.get('status')}
alertlevel: {data.get('annotations').get('severity')}
alertname： {data.get('labels').get('alertname')}
message: {data.get('annotations').get('message')}
startsAt: {data.get('startsAt')}
endsAt: {data.get('endsAt')}
消息发送时间：{datetime.now().isoformat()}
消息发送给：{data.get('annotations').get('sendUsers')}'''
    return message


def dingding_sendmsg(access_token, content):
    headers = {
            'content-type': 'application/json',
            'Accept': 'application/json;charset=utf-8',
    }

    payload = {
            "text": {
                "content": content
            },
            "at": {
                "atMobiles": "",
                "isAtAll": False,
            },
            "msgtype": "text",
    }

    webhook_url = 'https://oapi.dingtalk.com/robot/send?access_token=%s' %access_token

    try:
        response = requests.post(webhook_url, data=json.dumps(payload), headers=headers)
        response.raise_for_status()
    except RequestException as e:
        raise e

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

#cat /etc/system/systemd/webhook.service
# 做成服务
[Unit]
Description= Webhook wechat for prometheus
After=network.target

[Service]
#Restart=always
#RestartSec=30
#Type=simple
WorkingDirectory=/app/webhook
ExecStart=//usr/local/python3/bin/python3.9  /app/webhook/main.py

[Install]
WantedBy=multi-user.target

配置alertmanager prometheus

# 配置数据存储目录
mkdir -p /data/prometheus/prometheus /data/prometheus/alertmanager
[root@rabbit4-64 prometheus]# ls
alertmanager  prometheus
[root@rabbit4-64 data]#  useradd prometheus
[root@rabbit4-64 data]# chown -R prometheus.prometheus  /data/prometheus  
[root@rabbit4-64 prometheus]# ll  
总用量 0
drwxr-xr-x. 2 prometheus prometheus 6 5月  31 10:25 alertmanager
drwxr-xr-x. 2 prometheus prometheus 6 5月  31 10:25 prometheus
[root@rabbit4-64 data]# 

# alertmanager配置
[root@rabbit3-63 alertmanager]# cat /app/jiankong/alertmanager/alertmanager.yml
global:
  resolve_timeout: 5m

route:
  group_by: ['alertname', 'cluster', 'service','instance']
  group_wait: 10s
  group_interval: 5s
  repeat_interval: 1h
  receiver: 'wechat'
receivers:
- name: 'wechat'
  webhook_configs:
  - url: 'http://192.168.xxxxx:5000/prometheus_dingtalk'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
       severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

# 设置成服务
[root@rabbit3-63 alertmanager]#  cat /etc/systemd/system/alertmanager.service 
[Unit]
Description=Prometheus Alert Manager
Documentation=https://prometheus.io/docs/introduction/overview/
After=network-online.target

[Service]
User=prometheus
LimitNOFILE=65535
WorkingDirectory=/app/jiankong/alertmanager
ExecStart=/app/jiankong/alertmanager/alertmanager \
          --config.file=/app/jiankong/alertmanager/alertmanager.yml \
          --storage.path=/data/prometheus/alertmanager
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartSec=60s

[Install]
WantedBy=multi-user.target


# prometheus配置
mkdir /app/jiankong/prometheus/rules
cd  /app/jiankong/prometheus/
chown -R prometheus.prometheus rules/
[root@rabbit4-64 prometheus]# cat prometheus.yml
global:
  scrape_interval:     60s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 60s # Evaluate rules every 15 seconds. The default is every 1 minute.
  scrape_timeout: 55s
alerting:
  alertmanagers:
  - static_configs:
    - targets:
       - 192.168.70.xx:9093   # 设置alertmanager的地址

rule_files:
  - '/app/jiankong/prometheus/rules/*.rules'  
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']


  - job_name: "node"
    static_configs:
      - targets:
         [
            "192.168.x0.xx:9100",
            "192.168.x0.xx:9100",
         ]

# 做成服务
[root@localhost alertmanager]# cat /etc/systemd/system/prometheus.service 
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network-online.target

[Service]
User=prometheus
LimitNOFILE=65535
WorkingDirectory=/app/jiankong/prometheus
ExecStart=/app/jiankong/prometheus/prometheus  --log.level=info \
          --config.file=/app/jiankong/prometheus/prometheus.yml \
          --storage.tsdb.retention.time=10d \
          --storage.tsdb.path=/data/prometheus/prometheus
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartSec=60s

[Install]
WantedBy=multi-user.target


# 配置相关规则
[root@rabbit4-64 rules]# cat up.rules 
groups:
- name: instance_status
  rules:
  - alert: 系统或服务异常请运维紧急查看！！！
    expr: up == 0
    for: 30s
    labels:
      severity: page
    annotations:
      sendUsers: "李处长"
      message: "{{$labels.instance}} 来自于 job {{$labels.job}} 已经采集失败超过五分钟。"
      severity: "Warning"

[root@rabbit4-64 rules]# ls
linux_hosts.rules  up.rules
[root@rabbit4-64 rules]# cat up.rules 
groups:
- name: instance_status
  rules:
  - alert: 系统或服务异常请运维紧急查看！！！
    expr: up == 0
    for: 30s
    labels:
      severity: page
    annotations:
      sendUsers: "李处长"
      message: "{{$labels.instance}} 来自于 job {{$labels.job}} 已经采集失败超过五分钟。"

[root@rabbit4-64 rules]# cat linux_hosts.rules 
groups:
- name: linux_host_status
  rules:
  - alert: data_node_cpu_too_load_high
    expr: (1 - avg by (instance) (irate(node_cpu_seconds_total{mode="idle"}[5m]))) * 100 > 60
    for: 5m
    labels:
      severity: page
    annotations:
      sendUsers: "李处长,陈处长"
      message: "{{ $labels.instance }} 来自于job {{ $labels.job }}  CPU 使用率连续五分钟超过 60%，当前值: {{ $value }} ,请检查主机应用！"
      severity: "Warning"

  - alert: node_filesystem_usage_hign
    expr: node_filesystem_free_bytes{device !~'tmpfs', fstype!~'rootfs'} / node_filesystem_size_bytes < 0.15
    for: 5m
    labels:
      severity: page
    annotations:
      sendUsers: "李处长,陈处长"
      message: "{{ $labels.instance }} 来自于job {{ $labels.job }} 磁盘 {{$labels.device}} 挂载点 {{$labels.mountpoint}} 使用率超过 85%，当前值: {{ $value }} ,请检查主机磁盘！"
      severity: "Warning"

  - alert: data_node_memory_too_usage_high
    expr: (node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Buffers_bytes - node_memory_Cached_bytes) / node_memory_MemTotal_bytes * 100 > 95
    for: 5m
    labels:
      severity: page
    annotations:
      sendUsers: "李处长,陈处长"
      message: "{{ $labels.instance }} 来自于job {{ $labels.job }} 内存使用率连续五分钟超过 95%, 当前值: {{ $value }} ,请检查主机应用！"
      severity: "Warning"

  - alert: yunclassroom_process_memory_use_high
    expr: namedprocess_namegroup_memory_bytes{job="yunbanji_web",memtype="resident"}/1024/1024  > 4000
    for: 5m
    labels:
      severity: page
    annotations:
      sendUsers: "李处长,陈处长"
      message: "{{ $labels.instance }} 来自于进程 {{ $labels.groupname }} 内存使用率连续五分钟超过 4000M, 当前值: {{ $value }} ,请检查主机应用！"
      severity: "Warning"

启动相关服务

systemctl daemon-reload
systemctl start webhook
systemctl start alertmanager
systemctl start prometheus
systemctl status xxx  #查看状态

[root@localhost jiankong]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:5000            0.0.0.0:*               LISTEN      60670/python3.9     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1014/sshd           
tcp6       0      0 :::9093                 :::*                    LISTEN      60467/alertmanager  
tcp6       0      0 :::9094                 :::*                    LISTEN      60467/alertmanager  
tcp6       0      0 :::9100                 :::*                    LISTEN      1013/node_exporter  
tcp6       0      0 :::22                   :::*                    LISTEN      1014/sshd           
tcp6       0      0 :::9090                 :::*                    LISTEN      60500/prometheus

访问：ip:9090 ip:9094
在这里插入图片描述
在这里插入图片描述

测试:当其中一台挂掉了实现告警
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/676154.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

分享毕业论文要怎么写以及写论文工具推荐

分享毕业论文要怎么写以及写论文工具推荐

毕业论文的写作是一个系统且需要深度研究的过程。以下将分步介绍毕业论文的写作方法&#xff0c;并推荐一些实用的写作工具。 毕业论文写作方法 选题&#xff1a; 确定研究方向和目标&#xff0c;选择具体且有一定研究价值的课题。建议选择应用型题目&#xff0c;结合理论和实…
阅读更多...
【HarmonyOS】鸿蒙系统中应用权限等级介绍、定义、申请授权讲解

【HarmonyOS】鸿蒙系统中应用权限等级介绍、定义、申请授权讲解

【HarmonyOS】鸿蒙系统中应用权限等级介绍、定义、申请授权讲解 针对权限等级&#xff0c;相对于主体来说&#xff0c;会有不同的细分概念。 一、权限APL等级&#xff1a; 首先在鸿蒙系统中&#xff0c;对于权限本身&#xff0c;分为三个等级&#xff1a;normal&#xff0c;s…
阅读更多...
【JAVA WEB实用与优化技巧】如何使用本地.bat/.sh脚本快速将服务发布到测试环境？

【JAVA WEB实用与优化技巧】如何使用本地.bat/.sh脚本快速将服务发布到测试环境？

文章目录 普通方式的springboot 使用docker打包发布【手动构建镜像模式】1. maven 打包可运行jar包2.手动打包镜像3.运行容器 全自动化本地命令发布到远程服务的方式配置ssh信任公钥获取公钥git 获取公钥方式: 桌面右键 -> open git gui here -> help -> show SSH key…
阅读更多...
【数据库】MySQL表的操作

【数据库】MySQL表的操作

目录 一.创建表 二.查看表 三.修改表 四.删除表 一.创建表 基本语法&#xff1a; CREATE TABLE table_name(field1 datatype,field2 datatype,field3 datatype) character set 字符集 collate 校验规则 engine 储存引擎field表示列名 datatype表示列的类型 charatcer se…
阅读更多...
初识C++ · 模拟实现stack和Queue

初识C++ · 模拟实现stack和Queue

目录 前言&#xff1a; 1 Stack 1.1 双端队列 2 Queue 前言&#xff1a; 经历了list三个自定义类型的洗礼&#xff0c;来个简单的放松放松&#xff0c;即栈和队列&#xff1a; 文档记录的&#xff0c;栈和队列是一种容器适配器&#xff0c;它们不属于stl&#xff0c;但是它…
阅读更多...
什么是云渲染？怎么使用呢？手把手教你

什么是云渲染？怎么使用呢？手把手教你

云渲染是一种利用云计算技术进行图形渲染的服务。它允许用户将渲染任务提交到云端服务器&#xff0c;由远程的计算机集群资源进行渲染操作&#xff0c;完成后再将渲染结果返回给用户。 云渲染技术的优势在于它可以提高渲染效率和质量&#xff0c;支持多任务同时加速渲染&#…
阅读更多...
一个被无数人忽视的好项目

一个被无数人忽视的好项目

这个项目相信大家都在各大短视频平台见过&#xff0c;之前被我忽视了&#xff0c;当时的我自以为它是一时的热度&#xff0c;很快就会凉凉。但现在却生生被打脸了&#xff0c;这其实是非常好变现且流量也很大的一个好项目。 到底是什么好项目呢&#xff0c;没错&#xff0c;就…
阅读更多...
[MYSQL]合作过至少三次的演员和导演

[MYSQL]合作过至少三次的演员和导演

ActorDirector 表&#xff1a; ---------------------- | Column Name | Type | ---------------------- | actor_id | int | | director_id | int | | timestamp | int | ---------------------- timestamp 是这张表的主键(具有唯一值的列).编写解决方案…
阅读更多...
黑马程序员——Spring框架——day04——SpringMVC基础

黑马程序员——Spring框架——day04——SpringMVC基础

目录&#xff1a; SpringMVC简介 背景SpringMVC概述技术体系定位快速入门 目的需求步骤代码实操测试工具 PostMan简介PostMan安装PostMan使用知识点总结请求与参数处理 请求路径 环境准备问题分析解决方式请求方式 环境准备技术分析参数 基本数据类型POJO嵌套POJO数组集合&…
阅读更多...
基于卷积神经网络（CNN）的深度迁移学习在声发射（AE）监测螺栓连接状况的应用

基于卷积神经网络（CNN）的深度迁移学习在声发射（AE）监测螺栓连接状况的应用

螺栓结构在工业中用于组装部件&#xff0c;它们在多种机械系统中扮演着关键角色。确保这些连接结构的健康状态对于航空航天、汽车和建筑等各个行业至关重要&#xff0c;因为螺栓连接的故障可能导致重大的安全风险、经济损失、性能下降和监管合规问题。 在早期阶段检测到螺栓松动…
阅读更多...
四、利用启发式算法进行特定数据集的残差网络结构搜索【框架+源码】

四、利用启发式算法进行特定数据集的残差网络结构搜索【框架+源码】

背景&#xff1a;工作之后干的事情跟算法关联甚少&#xff0c;整理下读书期间的负责和参与的work&#xff0c;再熟悉学习下。 边熟悉边整理喽~ CV Tradictional workCV AI based work机械臂视觉抓取项目机器学习全流程 Pipeline训练平台OCR生产线喷码识别三维重建(SfM)ROS机器人…
阅读更多...
springboot项目通过jar包部署到服务器

springboot项目通过jar包部署到服务器

1. 将springboot项目打包成jar包 方式一&#xff1a;IDEA为例 出现 BUILD SUCCESS 证明打包成功&#xff0c;自动生成了 target 目录&#xff0c; jar 包就在目录里边 方式二&#xff1a;命令行&#xff08;得配置好maven环境变量&#xff09; 切换到项目目录下&#xff0c;…
阅读更多...
springboot管理的各依赖版本查看

springboot管理的各依赖版本查看

找一个springboot相关的依赖&#xff0c;比如这里我找mybatis 鼠标点击artifactId名称&#xff0c;图中蓝色字段&#xff0c;跳转到springboot依赖&#xff08;鼠标悬停在上面变成蓝色表示可点击跳转&#xff09;&#xff0c; 点击spring-boot-dependencites&#xff0c;跳转到…
阅读更多...
基于FPGA的SystemVerilog练习

基于FPGA的SystemVerilog练习

文章目录 一、认识SystemVerilogSystemVerilog的语言特性SystemVerilog的应用领域SystemVerilog的优势SystemVerilog的未来发展方向 二、流水灯代码流水灯部分testbench仿真文件 三、用systemVerilog实现超声波测距计时器测距部分led部分数码管部分采样部分顶层文件引脚绑定效果…
阅读更多...
QT入门知识回顾

QT入门知识回顾

1 QT简介 1.1 Qt模块: Qt Core模块: 是QT类库的核心&#xff0c;所有其他模块都依赖这个模块 Qt Gui模块: 提供GUI程序的基本功能 Qt Network模块:提供跨平台的网络功能 Qt Widgets模块:提供创建用户界面的功能 1.2Qt的signal/slot机制 任何一个类只要类体前部书写 Q_OBJ…
阅读更多...
TH方程学习 （6）

TH方程学习 （6）

一、内容介绍 本节旨在使用优化算法的方法&#xff0c;旨在利用最小的燃耗实现目标的交会&#xff0c;变量为目标的转移时间。整个问题描述为&#xff1a; 本节拟采取粒子群优化的算法&#xff0c;matlab中自带的粒子群函数为particleswarm&#xff0c;其用法不详细介绍&#…
阅读更多...
LeetCode：环形链表II

LeetCode：环形链表II

文章收录于LeetCode专栏 LeetCode地址 环形链表II 题目 给定一个链表&#xff0c;返回链表开始入环的第一个节点。如果链表无环&#xff0c;则返回null。   为了表示给定链表中的环&#xff0c;我们使用整数pos来表示链表尾连接到链表中的位置&#xff08;索引从0开始&#…
阅读更多...
C++青少年简明教程：数组

C++青少年简明教程：数组

C青少年简明教程&#xff1a;数组 C数组是一种存储固定大小连续元素的数据结构。数组中的每个元素都有一个索引&#xff0c;通过索引可以访问或修改数组中的元素。 在C中&#xff0c;数组中的元素数据类型必须一致。数组是一个连续的内存区域&#xff0c;用于存储相同类型的元…
阅读更多...
std::shared_ptr，reset()函数

std::shared_ptr，reset()函数

感慨&#xff1a;不深入阅读源代码&#xff0c;真的心虚&#xff0c;也用不好。 上代码&#xff1a; class A01 { public://std::weak_ptr<B0> b_ptr;int data{ 1234 };~A01() {std::cout << "A01 deleted\n";}void Print() { std::cout << &quo…
阅读更多...
C++进阶：C++11

C++进阶：C++11

C11简介 在 2003 年 C 标准委员会曾经提交了一份技术勘误表 ( 简称 TC1) &#xff0c;使得 C03 这个名字已经取代了 C98 称为 C11 之前的最新 C 标准名称。不过由于 C03(TC1) 主要是对 C98 标准中的漏洞 进行修复&#xff0c;语言的核心部分则没有改动&#xff0c;因此人们习…
阅读更多...
最新文章

Copyright @ 2022~2023