专栏：数据库、中间件的监控一网打尽

前言

对于数据库、中间件的监控，目前社区里最为完善的就是 Prometheus 生态的各个 Exporter，不过这些 Exporter 比较分散，不好管理，如果有很多目标实例需要监控，就要部署很多个 Exporter，要是能有一个大一统的 Exporter，具备所有这些 Exporter 的能力就好了。还真有，而且还不止一个，一个是 Grafana-agent，一个是 Cprobe，Grafana-agent 整合这些 Exporter 相对比较生硬而且缺少了目标实例自动发现机制，好处是 Grafana-agent 不止是整合了常见的 Exporter，还整合了 Promtail 和 OTEL Collector，也可以用于日志和链路数据的采集转发，Cprobe 整合 Exporter 的方式相对更为丝滑且一致性更好，支持目标实例的自动发现机制，专注在指标采集方向，不提供日志采集和链路数据转发能力，两个项目都是开源的，大家根据自己的需求选择。

本专栏专注如何构建生产级监控系统，侧重指标监控领域，选择 Cprobe 作为采集器。下面我们对 Cprobe 的通用配置做简要说明。

Cprobe 简介

Cprobe 的 README 中已经放置了相关文档链接，不多总共三四篇，请各位自行阅读，这里就不再赘述了。安装的话，可以采用二进制方式、容器方式、Kubernetes 方式，安装文档在这里：https://github.com/cprobe/cprobe/issues/5，每种安装方式基本就是一条命令的事，简单的很。

Cprobe 的配置文件在 conf.d 目录下，writer.yaml 配置时序库的 remote write 地址，Cprobe 采集了数据之后通过 remote write 协议发送指标数据给时序库。conf.d 下面有不少目录，每个目录对应一个采集插件，每个采集插件的目录下通常都会有一个 main.yaml 的入口配置，main.yaml 中配置要采集的监控目标的地址，当然，也可以不写死目标实例的地址，而是通过 HTTP SD 或 File SD 的方式动态发现监控目标。其次，main.yaml 中一般会有 scrape_rule_files 配置项，配置各个 job 的采集规则，这是个数组，程序处理时会把数组里的每个规则文件拼接成一个整体来使用，即：通过这种方式可以实现配置文件拆分管理。举例：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'mysql'

scrape_configs:
- job_name: 'mysql_static'
  static_configs:
  - targets:
    - '127.0.0.1:3306'
  scrape_rule_files:
  - 'rule_head.toml'
  - 'rule_coll.toml'

- job_name: 'mysql_http_sd'
  http_sd_configs:
  - url: http://localhost:8080/get-targets
  scrape_rule_files:
  - 'rule_head.toml'
  - 'rule_coll.toml'

- job_name: 'mysql_file_sd'
  file_sd_configs:
  - files:
    - 'inst.yaml'
  scrape_rule_files:
  - 'rule_head.toml'
  - 'rule_coll.toml'
  - 'rule_cust.toml'

另外，每个插件目录下通常有个 doc/README.md 文件，里面会有该插件的详细说明，并且会有插件对应的仪表盘和告警规则的模板。OK，下面我们就来看看如何配置 Cprobe 来监控常见的数据库、中间件。

MySQL

MySQL 的监控插件配置在 conf.d/mysql 目录下，我给大家演示一下监控 3 个 MySQL 实例的配置，首先是 main.yaml：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'mysql'

scrape_configs:
- job_name: 'mysql_dept1'
  static_configs:
  - targets:
    - '10.99.1.107:3306'
    - '10.99.1.108:3306'
  scrape_rule_files:
  - 'rule_head1.toml'
  - 'rule_coll.toml'
- job_name: 'mysql_dept2'
  static_configs:
  - targets:
    - '10.99.1.109:3306'
  scrape_rule_files:
  - 'rule_head2.toml'
  - 'rule_coll.toml'

上面的配置文件可以看出，总共监控了 3 个实例，分成两个 job，之所以分成两个 job 是因为这两组数据库实例的认证信息不同，所以需要分开配置，mysql_dept1 这个 job 引用了 rule_head1.toml，而 mysql_dept2 这个 job 引用的是 rule_head2.toml，这俩 rule toml 文件中配置的是认证信息，比如 rule_head1.toml 的内容是：

[global]
user = 'cprobe'
password = 'cProbePa55'

上面只是为了演示，所以这么划分 job 和认证信息，实际上，用于监控的账号，最好是全局统一的只读账号，方便管理，而 job 的划分依据，主要是 SD 的方式，不同的 SD 不同的 job。

通过 ./cprobe --no-writer --no-httpd --plugins mysql 可以测试一下采集是否成功，正常来讲，会输出一堆 mysql 指标，然后我们检查 writer.yaml 中的 remote write 地址是否正确，然后重启 Cprobe，就可以在时序库中看到 MySQL 的指标了。另外你可以从下面地址获取 MySQL 仪表盘：

https://github.com/cprobe/cprobe/blob/main/conf.d/mysql/doc/dash/grafana_mysql_01.json

20240104083953

对于常用的数据库、中间件，FlashDuty 已经提供了一些常用的告警规则，导入即可使用：

20240104085229

FlashDuty 在专栏第一篇已经介绍过，主要是一个事件 OnCall 中心，可以接入各种监控系统，把告警事件收集到一个地方统一管理，提供告警多渠道分发、收敛降噪、排班、认领升级、协同等能力，新版本还内置了告警引擎，可以对时序库中的数据做告警判定，内置各类常用的告警规则模板，总之，告警这个事，交给 FlashDuty 就好了。我们只需要做好数据采集（Cprobe等各类采集器）、存储（VictoriaMetrics等时序库）、展示（Grafana等可视化工具）这些事情就行了。

Redis

Redis 的监控插件配置在 conf.d/redis 目录下，main.yaml 举例如下：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'redis'

scrape_configs:
- job_name: 'redis'
  static_configs:
  - targets:
    - '10.99.1.107:6379'
  scrape_rule_files:
  - 'rule.toml'

通过 ./cprobe --no-writer --no-httpd --plugins redis 可以测试一下采集是否成功，正常来讲，会输出一堆 Redis 指标，Redis 的仪表盘可以从这里获取（或者自行从 Grafana 官网搜索别人分享的仪表盘）：

https://github.com/cprobe/cprobe/blob/main/conf.d/redis/doc/dash/grafana_redis_01.json

20240104085003

Redis 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

MongoDB

MongoDB 的监控插件配置在 conf.d/mongodb 目录下，main.yaml 举例如下：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'mongodb'

scrape_configs:
- job_name: 'standalone'
  static_configs:
  - targets:
    - 10.99.1.110:27017
  scrape_rule_files:
  - 'rule.toml'

如果有认证信息，可以在 conf.d/mongodb/rule.toml 中配置，通过 ./cprobe --no-writer --no-httpd --plugins mongodb 可以测试一下采集是否成功，正常来讲，会输出一堆 MongoDB 指标，之后重启 Cprobe 即可。MongoDB 的仪表盘可以从这里获取（或者自行从 Grafana 官网搜索别人分享的仪表盘）：

https://github.com/cprobe/cprobe/blob/main/conf.d/mongodb/doc/dash/grafana_mongodb_01.json

20240104091544

MongoDB 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

Oracle

Oracle 的监控插件配置在 conf.d/oracledb 目录下，main.yaml 举例如下：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'oracle'

scrape_configs:
- job_name: 'oracle'
  static_configs:
  - targets:
    - 10.99.1.107:1521/xe # ip:port/service
  scrape_rule_files:
  - 'link.toml'
  - 'comm.toml'

一般监控目标，即 target 的配置都是 IP + 端口，Oracle 的略有不同，需要配置成 IP + 端口 + service，通过 ./cprobe --no-writer --no-httpd --plugins oracledb 可以测试一下采集是否成功，正常来讲，会输出一堆 Oracle 指标，之后重启 Cprobe 即可。Oracle 的仪表盘可以从这里获取（或者自行从 Grafana 官网搜索别人分享的仪表盘）：

https://github.com/cprobe/cprobe/blob/main/conf.d/oracledb/doc/dash/grafana_oracledb_01.json

20240104095322

Oracle 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

Postgres

Postgres 的监控插件配置在 conf.d/postgres 目录下，main.yaml 举例如下：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'postgres'

scrape_configs:
- job_name: 'postgres'
  static_configs:
  - targets:
    - '10.99.1.107:15432'
  scrape_rule_files:
  - 'rule.toml'

通过 ./cprobe --no-writer --no-httpd --plugins postgres 可以测试一下采集是否成功，正常来讲，会输出一堆 Postgres 指标，之后重启 Cprobe 即可。Postgres 的仪表盘可以从这里获取（或者自行从 Grafana 官网搜索别人分享的仪表盘）：

https://github.com/cprobe/cprobe/blob/main/conf.d/postgres/doc/dash/grafana_postgres_01.json

20240104095711

Postgres 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

Tomcat

Tomcat 的监控插件配置在 conf.d/tomcat 目录下，main.yaml 举例如下：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'tomcat'

scrape_configs:
- job_name: 'tomcat'
  static_configs:
  - targets:
    - '10.211.55.3:8080'
  scrape_rule_files:
  - 'rule.toml'

注意，Tomcat 监控需要修改 conf/tomcat-users.xml 配置，增加 role 和 user，比如：

<tomcat-users xmlns="http://tomcat.apache.org/xml"
              xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
              xsi:schemaLocation="http://tomcat.apache.org/xml tomcat-users.xsd"
              version="1.0">
  <role rolename="manager-gui"/>
  <user username="tomcat" password="s3cret" roles="manager-gui"/>
</tomcat-users>

其次，通常 cprobe 和 tomcat 部署在不同的机器上，需要修改 webapps/manager/META-INF/context.xml 配置，把下面的部分注释掉：

<Valve className="org.apache.catalina.valves.RemoteAddrValve"
         allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />

xml 的注释使用 ，所以，最终注释之后变成：

<!--
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
         allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
-->

然后修改 tomcat 的 rule.toml，写上认证信息，即可测试：./cprobe --no-writer --no-httpd --plugins tomcat。Tomcat 的仪表盘暂未整理，欢迎大家贡献 PR 呀。Tomcat 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

Kafka

Kafka 的众多指标是通过 jmx 的方式暴露的，所以，在 Kafka 启动的 shell 里通过 -javaagent 埋入 prometheus_jmx_agent.jar，就可以暴露 Prometheus 协议的监控数据了，使用 Cprobe 的 Prometheus 插件来抓即可。但是 Cprobe 还是提供了一个专门的 Kafka 插件，用于抓取 consumergroup 的 lag 信息，配置文件在 conf.d/kafka 目录下，main.yaml 内容举例：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'kafka'

scrape_configs:
- job_name: 'kafka'
  static_configs:
  - targets:
    - '10.99.1.105:9092'
  scrape_rule_files:
  - 'rule.toml'

如果是监控集群，想要写多个实例，Kafka 的 target 写法跟其他的 plugin 会有不同，举例：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'kafka'

scrape_configs:
  - job_name: 'kafka'
    static_configs:
      - targets:
          - '172.21.0.162:9092,172.21.0.163:9092,172.21.0.164:9092'
    scrape_rule_files:
      - 'rule.toml'

和 mysql 插件对比一下，应该可以看出差别吧？你知道为啥会有这样的不同设计么？欢迎在评论区留言探讨 :-)

通过 ./cprobe --no-writer --no-httpd --plugins kafka 可以测试一下采集是否成功，正常来讲，会输出一堆 Kafka 指标，之后重启 Cprobe 即可。Kafka 的仪表盘可以从这里获取（或者自行从 Grafana 官网搜索别人分享的仪表盘）：

https://github.com/cprobe/cprobe/blob/main/conf.d/kafka/doc/dash/grafana_kafka_01.json

20240104101643

Kafka 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

ElasticSearch

ElasticSearch 的监控插件配置在 conf.d/elasticsearch 目录下，main.yaml 举例如下：

global:
  scrape_interval: 15s
  external_labels:
    cplugin: 'elasticsearch'

scrape_configs:
- job_name: 'elasticsearch'
  static_configs:
  - targets:
    - 10.99.1.105:9200
  scrape_rule_files:
  - 'rule.toml'

通过 ./cprobe --no-writer --no-httpd --plugins elasticsearch 可以测试一下采集是否成功，正常来讲，会输出一堆 ElasticSearch 指标，之后重启 Cprobe 即可。ElasticSearch 的仪表盘可以从这里获取（或者自行从 Grafana 官网搜索别人分享的仪表盘）：

https://github.com/cprobe/cprobe/blob/main/conf.d/elasticsearch/doc/dash/grafana_elasticsearch_01.json

20240104103722

ElasticSearch 的告警规则，FlashDuty 也已经内置了，使用 FlashDuty 做告警和事件分发即可，这里不再赘述。

小结

作为专栏第二篇文章，给大家大体介绍了一下常用中间件的采集方式，Cprobe 是一个挺有意思的工具，大家可以一起贡献 PR。我们下一讲再见。