github alertmanager 文档
Prometheus Alerting rules
Prometheus alerting configuration
前几篇文章讲了Prometheus的监控，这一篇文章，讲通过监控指标触发告警
常用的告警方式有发邮件、调用指定接口(webhook) 等。本文讲解webhook方式，完成这个示例需要准备4个组件：prometheus、node_exporter、alertmanagers、接受webhook调用的web服务
1
首先准备一个rule_file，机器的近1分钟负载超过0.8，就触发告警。如下：
my_rules.yml：
groups: # 一组告警规则
- name: cpu_gt30 # 这个组的名称
rules: # 下面可以写多条规则
- alert: cpu_usage_high # 告警名称
expr: node_load1 > 0.8 # PromQL 表达式（计算规则）
for: 1m # 持续超标1分钟才触发
labels:
severity: warning # 告警级别，可选字段为warning、critical和emergency
annotations: # 告警的描述信息
summary: "{{$labels.instance}}: 节点CPU使用率过高"
description: "{{$labels.instance}}: CPU使用率超过 80% (当前: {{ $value }}"
上面配置中expr和for是比较重要的。prometheus每隔一段时间就会计算一下expr是否满足触发条件。
如果expr计算结果不满足，这条告警就是inactive状态：
如果计算结果满足这条规则就变成了pending状态：
如果连续1分钟（for配置的值）expr都满足，就会触发告警，变成firing状态
2
修改alertmanager配置文件：
alertmanager.yml
route:
group_by: ['alertname'] # 根据alertname标签进行分组，具有相同标签的告警将被视为一组，聚合成一条发送。alertname标签 对应rule文件里的 alert: cpu_usage_high
group_wait: 30s # 告警分组的时间窗口，如果第一个告警触发后，30秒内又触发了具有相同alertname的告警，它们将被合并为一个告警组
group_interval: 5m # 告警组的刷新间隔。每5分钟，Alertmanager 会重新评估告警组，并将新的告警添加到现有的组中
repeat_interval: 1h # 告警的重复间隔。如果一个告警已经被发送，那么在告警状态没有变化的情况下，它会每隔1小时再次发送
receiver: 'web.hook'
receivers:
- name: 'web.hook'
webhook_configs:
- url: 'http://192.168.254.1:5000/alert'
启动alertmanager ./alertmanager --config.file=./alertmanager.yml
3
修改prometheus配置文件为如下内容
prometheus.yml：
global:
... # 省略一些与本节内容无关的配置
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
- 192.168.243.99:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
- "/my_rules.yml"
使用上述配置文件启动prometheus
4
起一个web服务，接受webhook调用：
from fastapi import FastAPI, Request
import uvicorn
app = FastAPI(debug=False)
@app.post("/alert")
async def print_args(request: Request):
body = await request.json()
print(body)
return {}
if __name__ == '__main__':
uvicorn.run(app, host="0.0.0.0", port=5000)
运行python脚本使CPU飙高：
import math
import time
def cpu_intensive_task():
while True:
for i in range(1000000):
math.sqrt(i)
try:
cpu_intensive_task()
except KeyboardInterrupt:
print("exited")
然后静待告警触发，你会看到上面3个告警状态的变化，web服务收到的请求参数为：
{'receiver': 'web.hook',
'status': 'firing',
'alerts': [{'status': 'firing',
'labels': {'alertname': 'cpu_usage_high',
'instance': '192.168.243.99:9100',
'job': 'node_exporter',
'severity': 'warning'},
'annotations': {
'description': '192.168.243.99:9100: CPU使用率超过 80% (当前: 0.97',
'summary': '192.168.243.99:9100: 节点CPU使用率过高'},
'startsAt': '2024-10-22T14:02:11.03Z',
'endsAt': '0001-01-01T00:00:00Z',
'generatorURL': 'http://f2f05a8126f0:9090/graph?g0.expr=node_load1+%3E+0.8&g0.tab=1',
'fingerprint': 'd3155240a05e4626'}],
'groupLabels': {'alertname': 'cpu_usage_high'},
'commonLabels': {'alertname': 'cpu_usage_high',
'instance': '192.168.243.99:9100',
'job': 'node_exporter',
'severity': 'warning'},
'commonAnnotations': {'description': '192.168.243.99:9100: CPU使用率超过 80% (当前: 0.97',
'summary': '192.168.243.99:9100: 节点CPU使用率过高'},
'externalURL': 'http://master:9093',
'version': '4',
'groupKey': '{}:{alertname="cpu_usage_high"}',
'truncatedAlerts': 0}
等待告警解除后，又会收到一个 告警已解决的通知
{'receiver': 'web.hook', 'status': 'resolved', ...} # 其余部分更上面差不多，就不粘贴出来了
