部署 Prometheus

实验环境

IP地址	服务
192.168.88.10	Prometheus服务端, Consul, Grafana, Node-Exporter
192.168.88.77	MySQL, Node-Exporter
192.168.88.30	Nginx，Node-Exporter

一、Prometheus Server 端安装和相关配置

【Prometheus1.sh】

（1）上传 prometheus-2.35.0.linux-amd64.tar.gz 到 /opt 目录中，并解压
systemctl stop firewalld

sed -i 's/enforcing/disabled/' /etc/selinux/config
cd /opt/
tar xf prometheus-2.35.0.linux-amd64.tar.gz
mv prometheus-2.35.0.linux-amd64 /usr/local/prometheus

cat /usr/local/prometheus/prometheus.yml | grep -v "^#"

global:					#用于prometheus的全局配置，比如采集间隔，抓取超时时间等
  scrape_interval: 15s			#采集目标主机监控数据的时间间隔，默认为1m
  evaluation_interval: 15s 		#触发告警生成alert的时间间隔，默认是1m
  # scrape_timeout is set to the global default (10s).
  scrape_timeout: 10s			#数据采集超时时间，默认10s

alerting:				#用于alertmanager实例的配置，支持静态配置和动态服务发现的机制
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

rule_files:				#用于加载告警规则相关的文件路径的配置，可以使用文件名通配机制
  # - "first_rules.yml"
  # - "second_rules.yml"

scrape_configs:			#用于采集时序数据源的配置
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"		#每个被监控实例的集合用job_name命名，支持静态配置（static_configs）和动态服务发现的机制（*_sd_configs）

    # metrics_path defaults to '/metrics'
    metrics_path: '/metrics'    #指标数据采集路径，默认为 /metrics
    # scheme defaults to 'http'.

    static_configs:				#静态目标配置，固定从某个target拉取数据
      - targets: ["localhost:9090"]

（2）配置系统启动文件，启动 Prometheust

cat > /usr/lib/systemd/system/prometheus.service <<'EOF'
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/prometheus/prometheus \
--config.file=/usr/local/prometheus/prometheus.yml \
--storage.tsdb.path=/usr/local/prometheus/data/ \
--storage.tsdb.retention=15d \
--web.enable-lifecycle
  
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

（3）启动
systemctl start prometheus
systemctl enable prometheus

netstat -natp | grep :9090

（4）查看

浏览器访问：http://192.168.88.10:9090 ，访问到 Prometheus 的 Web UI 界面
点击页面的 Status -> Targets，如看到 Target 状态都为 UP，说明 Prometheus 能正常采集到数据
http://192.168.88.10:9090/metrics ，可以看到 Prometheus 采集到自己的指标数据，其中 Help 字段用于解释当前指标的含义，Type 字段用于说明数据的类型

二、部署 Exporters

部署 Node Exporter 监控系统级指标
（1）上传 node_exporter-1.3.1.linux-amd64.tar.gz 到 /opt 目录中，并解压
cd /opt/
tar xf node_exporter-1.3.1.linux-amd64.tar.gz
mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin

（2）配置启动文件

cat > /usr/lib/systemd/system/node_exporter.service <<'EOF'
[Unit]
Description=node_exporter
Documentation=https://prometheus.io/
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/node_exporter \
--collector.ntp \
--collector.mountstats \
--collector.systemd \
--collector.tcpstat

ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

（3）启动
systemctl start node_exporter
systemctl enable node_exporter

netstat -natp | grep :9100

浏览器访问：http://192.168.88.10:9100/metrics ，可以看到 Node Exporter 采集到的指标数据

常用的各指标：

node_cpu_seconds_total
node_memory_MemTotal_bytes
node_filesystem_size_bytes{mount_point=PATH}
node_system_unit_state{name=}
node_vmstat_pswpin：系统每秒从磁盘读到内存的字节数
node_vmstat_pswpout：系统每秒钟从内存写到磁盘的字节数

更多指标介绍：https://github.com/prometheus/node_exporter

（4）修改 prometheus 配置文件，加入到 prometheus 监控中
vim /usr/local/prometheus/prometheus.yml

#在尾部增加如下内容
  - job_name: nodes
    metrics_path: "/metrics"
    static_configs:
    - targets:
	  - 192.168.88.10:9100
	  - 192.168.88.77:9100
	  - 192.168.88.30:9100
      labels:
        service: kubernetes

注意：此处

192.168.88.76:9100

192.168.88.30:9100都还没有设置，在后面会设置

（5）重新载入配置
curl -X POST http://192.168.10.80:9090/-/reload 或 systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets

2.1、监控 MySQL 配置示例

在有 MySQL 服务器上操作
（1）上传 mysqld_exporter-0.14.0.linux-amd64.tar.gz 到 /opt 目录中，并解压
cd /opt/
tar xf mysqld_exporter-0.14.0.linux-amd64.tar.gz
mv mysqld_exporter-0.14.0.linux-amd64/mysqld_exporter /usr/local/bin/

（2）配置启动文件

cat > /usr/lib/systemd/system/mysqld_exporter.service <<'EOF'
[Unit]
Description=mysqld_exporter
Documentation=https://prometheus.io/
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/mysqld_exporter --config.my-cnf=/etc/my.cnf

ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

（3）修改 MySQL 配置文件
vim /etc/my.cnf

[client]
......
host=localhost
user=exporter
password=abc123

（4）授权 exporter 用户

mysql -uroot -pabc123
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost' IDENTIFIED BY 'abc123';

（5）重启服务
systemctl restart mysqld
systemctl start mysqld_exporter
systemctl enable mysqld_exporter

netstat -natp | grep :9104

在 Prometheus 服务器上操作
（1）修改 prometheus 配置文件，加入到 prometheus 监控中
vim /usr/local/prometheus/prometheus.yml

在尾部增加如下内容
  - job_name: mysqld
    metrics_path: "/metrics"
    static_configs:
    - targets:
          - 192.168.88.77:9104
      labels:
        service: mysqld

注意改了是9104

（2）重新载入配置
curl -X POST http://192.168.88.10:9090/-/reload 或 systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets

2.2、监控 Nginx 配置示例

在有Nginx 服务器上操作
下载 nginx-exporter 地址：https://github.com/hnlq715/nginx-vts-exporter/releases/download/v0.10.3/nginx-vts-exporter-0.10.3.linux-amd64.tar.gz
下载 nginx 地址：http://nginx.org/download/
下载 nginx 插件地址：https://github.com/vozlt/nginx-module-vts/tags

（1）解压 nginx 插件
cd /opt
tar xf nginx-module-vts-0.1.18.tar.gz
mv nginx-module-vts-0.1.18 /usr/local/nginx-module-vts

（2）安装 Nginx
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx

放入nginx-1.18.0.tar.gz包

cd /opt
tar xf nginx-1.18.0.tar.gz

cd nginx-1.18.0/
./configure --prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module \
--with-http_ssl_module \
--add-module=/usr/local/nginx-module-vts

make & make install

（3）修改 nginx 配置文件，启动 nginx
vim /usr/local/nginx/conf/nginx.conf

http {
    vhost_traffic_status_zone;                    #添加
    vhost_traffic_status_filter_by_host on;        #添加，开启此功能，在 Nginx 配置有多个 server_name 的情况下，会根据不同的 server_name 进行流量的统计，否则默认会把流量全部计算到第一个 server_name 上
    ......
    server {
    ......
    }
    
    server {
        vhost_traffic_status off;        #在不想统计流量的 server 区域，可禁用 vhost_traffic_status
        listen 8080;
        allow 127.0.0.1;
        allow 192.168.10.80;            #设置为 prometheus 的 ip 地址

        location /nginx-status {
            stub_status on;
            access_log off;
        }

        location /status {
            vhost_traffic_status_display;
            vhost_traffic_status_display_format html;
        }
    }
}

假如 nginx 没有规范配置 server_name 或者无需进行监控的 server 上，那么建议在此 vhost 上禁用统计监控功能。否则会出现 127.0.0.1、hostname 等的域名监控信息。

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
nginx -t

cat > /lib/systemd/system/nginx.service <<'EOF'
[Unit]
Description=nginx
After=network.target

[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target
EOF

systemctl start nginx
systemctl enable nginx

浏览器访问：http://192.168.88.30:8080/status ，可以看到 Nginx Vhost Traffic Status 的页面信息

（4）解压 nginx-exporter，启动 nginx-exporter
cd /opt/
tar -zxvf nginx-vts-exporter-0.10.3.linux-amd64.tar.gz
mv nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter /usr/local/bin/

cat > /usr/lib/systemd/system/nginx-exporter.service <<'EOF'
[Unit]
Description=nginx-exporter
Documentation=https://prometheus.io/
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/nginx-vts-exporter -nginx.scrape_uri=http://localhost:8080/status/format/json

ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

systemctl start nginx-exporter
systemctl enable nginx-exporter

netstat -natp | grep :9913

在 Prometheus 服务器上操作
（1）修改 prometheus 配置文件，加入到 prometheus 监控中
vim /usr/local/prometheus/prometheus.yml
在尾部增加如下内容

  - job_name: nginx
    metrics_path: "/metrics"
    static_configs:
    - targets:
          - 192.168.88.30:9913
      labels:
        service: nginx

（2）重新载入配置
curl -X POST http://192.168.88.10:9090/-/reload 或 systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets

三、部署 Grafana 进行展示

（1）下载和安装
下载地址：https://grafana.com/grafana/download
https://mirrors.bfsu.edu.cn/grafana/yum/rpm/

yum install -y grafana-7.4.0-1.x86_64.rpm

systemctl start grafana-server
systemctl enable grafana-server

netstat -natp | grep :3000

浏览器访问：http://192.168.88.10:3000 ，默认账号和密码为 admin/admin

重新设置密码123123

（2）配置数据源
Configuration -> Data Sources -> Add data source -> 选择 Prometheus
HTTP -> URL 输入 http://192.168.88.10:9090
点击 Save & Test

点击上方菜单 Dashboards，Import 所有默认模板
Dashboards -> Manage ，选择 Prometheus 2.0 Stats 或 Prometheus Stats 即可看到 Prometheus job 实例的监控图像

（3）导入 grafana 监控面板
浏览器访问：https://grafana.com/grafana/dashboards ，在页面中搜索 node exporter ，选择适合的面板，点击 Copy ID 或者 Download JSON

在 grafana 页面中，+ Create -> Import ，输入面板 ID 号或者上传 JSON 文件，点击 Load，即可导入监控面板

四、部署 Prometheus 服务发现

4.1、基于文件的服务发现

基于文件的服务发现是仅仅略优于静态配置的服务发现方式，它不依赖于任何平台或第三方服务，因而也是最为简单和通用的实现方式。
Prometheus Server 会定期从文件中加载 Target 信息，文件可使用 YAML 和 JSON 格式，它含有定义的 Target 列表，以及可选的标签信息。

（1）创建用于服务发现的文件，在文件中配置所需的 target
cd /usr/local/prometheus
mkdir targets

vim targets/node-exporter.yaml

- targets:
  - 192.168.88.10:9100
  - 192.168.88.30:9100
  labels:
    app: node-exporter
    job: node

vim targets/mysqld-exporter.yaml

- targets:
  - 192.168.88.77:9104
  labels:
    app: mysqld-exporter
    job: mysqld

修改 prometheus 配置文件，发现 target 的配置，定义在配置文件的 job 之中
vim /usr/local/prometheus/prometheus.yml

......
scrape_configs:
  - job_name: nodes
    file_sd_configs:                  #指定使用文件服务发现
    - files:                          #指定要加载的文件列表
      - targets/node*.yaml            #文件加载支持通配符
      refresh_interval: 2m            #每隔 2 分钟重新加载一次文件中定义的 Targets，默认为 5m
  
  - job_name: mysqld
    file_sd_configs:
    - files:
      - targets/mysqld*.yaml
      refresh_interval: 2m


--------------------------------------------------------------------------------------
scrape_configs:
  - job_name: nodeis
    file_sd_configs:
    - files:
      - targets/node*.yaml
      refresh_interval: 2m

  - job_name: mysqld
    file_sd_configs:
    - files:
      - targets/mysql*.yaml
      refresh_interval: 2m

systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets

4.2、基于 Consul 的服务发现

Consul 是一款基于 golang 开发的开源工具，主要面向分布式，服务化的系统提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性和配置管理等·功能。

下载地址：https://www.consul.io/downloads/

（1）部署 Consul 服务

1、在192.168.88.10部署，上传文件consul_1.9.2_linux_amd64.zip
cd /opt/
unzip consul_1.9.2_linux_amd64.zip
mv consul /usr/local/bin/

2、创建 Consul 服务的数据目录和配置目录
mkdir /var/lib/consul-data
mkdir /etc/consul/

3、使用 server 模式启动 Consul 服务

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-config-dir=/etc/consul/ \
-bind=192.168.88.10 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

4、查看 consul 集群成员
consul members

（2）在 Consul 上注册 Services
在配置目录中添加文件
vim /etc/consul/nodes.json

{
  "services": [
    {
      "id": "node_exporter-node01",
      "name": "node01",
      "address": "192.168.88.10",
      "port": 9100,
      "tags": ["nodes"],
      "checks": [{
        "http": "http://192.168.88.10:9100/metrics",
        "interval": "5s"
      }]
    },
    {
      "id": "node_exporter-node02",
      "name": "node02",
      "address": "192.168.88.30",
      "port": 9100,
      "tags": ["nodes"],
      "checks": [{
        "http": "http://192.168.88.30:9100/metrics",
        "interval": "5s"
      }]
    }
  ]
}

让 consul 重新加载配置信息
consul reload

浏览器访问：http://192.168.88.10:8500

（3）修改 prometheus 配置文件
vim /usr/local/prometheus/prometheus.yml

......
  - job_name: nodes
    consul_sd_configs:                  #指定使用 consul 服务发现
    - server: 192.168.88.10:8500        #指定 consul 服务的端点列表
      tags:                             #指定 consul 服务发现的 services 中哪些 service 能够加入到 prometheus 监控的标签
      - nodes
      refresh_interval: 2m


------------------------------------------------------------------------------------------
scrape_configs:
  - job_name: nodes
    consul_sd_configs:
    - server: 192.168.88.10:8500
      tags:
        - nodes
      refresh_interval: 2m

systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets

让 consul 注销 Service
consul services deregister -id="node_exporter-node02"

重新注册
consul services register /etc/consul/nodes.json

五、基于 Kubernetes API 的服务发现

官网：https://prometheus.io/docs/prometheus/2.47/configuration/configuration/

基于 Kubernetes API 的服务发现机制，支持将API Server 中 Node、Service、Endpoint、Pod 和 Ingress 等资源类型下相应的各资源对象视作 target，并持续监视相关资源的变动

Node、Service、Endpoint、Pod 和 Ingress 资源分别由各自的发现机制进行定义
负责发现每种类型资源对象的组件，在 Prometheus 中称为一个 role
支持在集群上基于 DaemonSet 控制器部署 node-exporter 后发现各 Node 节点，也可以通过 kubelet 来作为 Prometheus 发现各 Node 节点的入口

基于 Kubernetes 发现机制的部分配置参数

# The API server addresses. If left empty, Prometheus is assumed to run inside 
# of the cluster and will discover API servers automatically
and use the pod's
# CA certificate and bearer token file at /var/run/secrets/kubernetes.io/serviceaccount/.
[ api_server: <host> ]

# The Kubernetes role of entities that should be discovered. One of endpoints, service, pod, node, or ingress.
role: <string>

# Optional authentication information used to authenticate to the API server.
# Note that 'basic_auth', 'bearer_token'和'bearer_token_file' 等认证方式互斥；
[ bearer_token: <secret> ]
[ bearer_token_file: <filename> ]

# TLS configuration.
tls_config:
# CA certificate to validate API server certificate with.
[ ca_file: <filename> ]

# Certificate and key files for client cert authentication to the server.
[ cert_file: <filename> ]
[ key_file: <filename> ]

# ServerName extension to indicate the name of the server.
[ server_name: <string> ]

# Optional namespace discovery. If omitted, all namespaces are used.
namespaces:
names:
[ - <string> ]