监控系统Prometheus--入门

文章目录

  • Prometheus特点
    • 易于管理
    • 监控服务的内部运行状态
    • 强大的数据模型
    • 强大的查询语言PromQL
    • 高效
    • 可扩展
    • 易于集成
    • 可视化
    • 开放性
  • Prometheus架构
    • Prometheus 生态圈组件
    • 架构理解
  • Prometheus的安装
    • 安装Prometheus Server
      • 上传安装包
      • 解压安装包
      • 修改配置文件 prometheus.yml
    • 安装Pushgateway
      • 上传安装包
      • 解压安装包
    • 安装Alertmanager(选择性安装)
      • 上传安装包
      • 解压安装包
    • 安装Node Exporter(选择性安装)
      • 上传安装包
      • 解压安装包
      • 节点分发
      • 设置为开机自启
    • 启动 Prometheus Server 、 Pushgateway 和 Alertmanager
      • Prometheus Server 目录下执行启动命令
      • Pushgateway 目录下执行启动命令
      • 在 Alertmanager 目录下启动
      • 打开web 页面查看

Prometheus 安装包下载
链接:https://pan.baidu.com/s/1a3cUS3VF8NQyHF6xO7LKBQ?pwd=hxy2
提取码:hxy2

Prometheus 受启发于Google的Brogmon监控系统(相似的Kubernetes是从Google的Brog系统演变而来),从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发,并且于2015年早期对外发布早期版本。

2016 年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目,同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本,能更好地与容器平台、云平台配合。

Prometheus 作为新一代的云原生监控系统,目前已经有超过650+位贡献者参与到Prometheus 的研发工作上,并且超过120+项的第三方集成。

Prometheus特点

Prometheus 是一个开源的完整监控解决方案,其对传统监控系统的测试和告警模型进行了彻底的颠覆,形成了基于中央化的规则计算、统一分析和告警的新模型。 相比于传统监控系统,Prometheus具有以下优点:

易于管理

Prometheus核心部分只有一个单独的二进制文件,不存在任何的第三方依赖(数据库,缓存等等)。唯一需要的就是本地磁盘,因此不会有潜在级联故障的风险。

Prometheus 基于 Pull 模型的架构方式,可以在任何地方(本地电脑,开发环境,测试环境)搭建我们的监控系统。

对于一些复杂的情况,还可以使用Prometheus 服务发现(Service Discovery) 的能力动态管理监控目标。

监控服务的内部运行状态

Pometheus 鼓励用户监控服务的内部状态,基于Prometheus丰富的Client库,用户可以轻松的在应用程序中添加对Prometheus的支持,从而让用户可以获取服务和应用内部真正的运行状态。

强大的数据模型

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外,还包含一组用于描述该样本特征的标签。

强大的查询语言PromQL

Prometheus 内置了一个强大的数据查询语言PromQL。 通过PromQL可以实现对监控数据的查询、聚合。同时PromQL也被应用于数据可视化(如Grafana)以及告警当中。

  • 通过PromQL可以轻松回答类似于以下问题:
    • 在过去一段时间中95%应用延迟时间的分布范围?
    • 预测在4小时后,磁盘空间占用大致会是什么情况?
    • CPU占用率前5位的服务有哪些?(过滤)

高效

对于监控系统而言,大量的监控任务必然导致有大量的数据产生。而Prometheus可以高效地处理这些数据,对于单一Prometheus Server实例而言它可以处理:

  • 数以百万的监控指标
  • 秒处理数十万的数据点

可扩展

可以在每个数据中心、每个团队运行独立的Prometheus Sevrer。Prometheus对于联邦集群的支持,可以让多个Prometheus实例产生一个逻辑集群,当单实例Prometheus Server 处理的任务量过大时,通过使用功能分区(sharding)+联邦集群(federation)可以对
其进行扩展。

易于集成

使用Prometheus可以快速搭建监控服务,并且可以非常方便地在应用程序中进行集成。目前支持:Java,JMX,Python,Go,Ruby,.Net,Node.js等等语言的客户端SDK,基于这些SDK可以快速让应用程序纳入到 Prometheus的监控当中,或者开发自己的监控数据收集程序。

同时这些客户端收集的监控数据,不仅仅支持 Prometheus,还能支持Graphite这些
其他的监控工具。

同时Prometheus还支持与其他的监控系统进行集成:Graphite, Statsd, Collected, Scollector, muini, Nagios 等。 Prometheus社区还提供了大量第三方实现的监控数据采集支持:JMX,CloudWatch,EC2,MySQL,PostgresSQL,Haskell,Bash,SNMP,Consul,Haproxy,Mesos,Bind,CouchDB,Django,Memcached,RabbitMQ,Redis,RethinkDB,Rsyslog 等。

可视化

Prometheus Server 中自带的Prometheus UI,可以方便地直接对数据进行查询,并且支持直接以图形化的形式展示数据。同时 Prometheus 还提供了一个独立的基于Ruby On Rails 的 Dashboard解决方案 Promdash。

最新的Grafana可视化工具也已经提供了完整的Prometheus支持,基于Grafana可以创建更加精美的监控图标。

基于Prometheus提供的API还可以实现自己的监控可视化UI。

开放性

通常来说当我们需要监控一个应用程序时,一般需要该应用程序提供对相应监控系统协议的支持,因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制,对于决策者而言要么你就直接在应用中集成该监控系统的支持,要么就在外部创建单独的服务来适配不同的监控系统。

而对于Prometheus来说,使用Prometheus的client library的输出格式不止支持Prometheus 的格式化数据,也可以输出支持其它监控系统的格式化数据,比如Graphite。 因此你甚至可以在不使用Prometheus的情况下,采用Prometheus的client library来让你的应用程序支持监控数据采集。

Prometheus架构

在这里插入图片描述

Prometheus 生态圈组件

  • Prometheus Server:主服务器,负责收集和存储时间序列数据
  • client libraies:应用程序代码插桩,将监控指标嵌入到被监控应用程序中
  • Pushgateway:推送网关,为支持short-lived作业提供一个推送网关
  • exporter:专门为一些应用开发的数据摄取组件—exporter,例如:HAProxy、StatsD、
    Graphite 等等。
  • Alertmanager:专门用于处理alert的组件

架构理解

Prometheus 既然设计为一个维度存储模型,可以把它理解为一个OLAP系统。

  • 存储计算层

    • Prometheus Server,里面包含了存储引擎和计算引擎。
    • Retrieval组件为取数组件,它会主动从Pushgateway或者Exporter拉取指标数据。
    • Service discovery,可以动态发现要监控的目标。
    • TSDB,数据核心存储与查询。
    • HTTP server,对外提供HTTP服务。
  • 采集层
    采集层分为两类,一类是生命周期较短的作业,还有一类是生命周期较长的作业。

    • 短作业:直接通过API,在退出时间指标推送给Pushgateway。
    • 长作业:Retrieval组件直接从Job或者Exporter拉取数据。
  • 应用层
    应用层主要分为两种,一种是AlertManager,另一种是数据可视化。

    • AlertManager
      对接Pagerduty,是一套付费的监控报警系统。可实现短信报警、5分钟无人ack打
      电话通知、仍然无人ack,通知值班人员Manager…
      Emial,发送邮件
      … …
    • 数据可视化
      Prometheus build-in WebUI
      Grafana
      其他基于API开发的客户端

Prometheus的安装

官网:https://prometheus.io/

安装Prometheus Server

Prometheus 基于Golang编写,编译后的软件包,不依赖于任何的第三方依赖。只需要下载对应平台的二进制包,解压并且添加基本的配置即可正常启动Prometheus Server。

上传安装包

上传prometheus-2.29.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt/module

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv prometheus-2.29.1.linux-amd64 prometheus-2.29.1

修改配置文件 prometheus.yml

[yudan@hadoop102 prometheus-2.29.1]$ vim prometheus.yml

在scrape_configs 配置项下添加配置:

scrape_configs: 
  - job_name: "prometheus"
    static_configs: 
	- targets: ["hadoop102:9090"] 

# 添加 PushGateway 监控配置 
  - job_name: 'pushgateway' 
    static_configs: 
	- targets: ['hadoop102:9091'] 
      labels:
	  instance: pushgateway 
	  
# 添加 Node Exporter 监控配置 
  - job_name: 'node exporter' 
    static_configs: 
	- targets: ['hadoop102:9100', 'hadoop103:9100', 'hadoop104:9100']

配置说明:

  • global 配置块:控制Prometheus服务器的全局配置
    • scrape_interval:配置拉取数据的时间间隔,默认为1分钟。
    • evaluation_interval:规则验证(生成alert)的时间间隔,默认为1分钟。
  • rule_files 配置块:规则配置文件
  • scrape_configs 配置块:配置采集目标相关, prometheus监视的目标。Prometheus
    自身的运行信息可以通过HTTP访问,所以Prometheus可以监控自己的运行数据。
    • job_name:监控作业的名称
    • static_configs:表示静态目标配置,就是固定从某个target拉取数据
    • targets:指定监控的目标,其实就是从哪儿拉取数据。Prometheus 会从http://hadoop202:9090/metrics 上拉取数据。
      Prometheus 是可以在运行时自动加载配置的。启动时需要添加:–web.enable-lifecycle

安装Pushgateway

Prometheus 在正常情况下是采用拉模式从产生metric的作业或者exporter(比如专门监控主机的NodeExporter)拉取监控数据。但是我们要监控的是Flink on YARN作业,想要让Prometheus自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。PushGateway 就是一个中转组件,通过配置Flink on YARN作业将metric推到PushGateway,Prometheus 再从PushGateway拉取就可以了。

上传安装包

上传pushgateway-1.4.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录\

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf pushgateway-1.4.1.linux-amd64.tar.gz -C /opt/module

修改目录名

[yudan@hadoop202 ~] cd /opt/module 
[yudan@hadoop202 module] mv pushgateway-1.4.1.linux-amd64 pushgateway-1.4.1

安装Alertmanager(选择性安装)

上传安装包

上传alertmanager-0.23.0.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudana@hadoop102 software]$ tar -zxvf alertmanager-0.23.0.linux-amd64.tar.gz -C /opt/module 

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv alertmanager-0.23.0.linux-amd64 alertmanager-0.23.0

安装Node Exporter(选择性安装)

在Prometheus 的架构设计中,Prometheus Server主要负责数据的收集,存储并且对外提供数据查询支持,而实际的监控样本数据的收集则是由Exporter完成。因此为了能够监控到某些东西,如主机的CPU使用率,我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址(通常是/metrics)拉取监控样本数据。

Exporter 可以是一个相对开放的概念,其可以是一个独立运行的程序独立于监控目标以外,也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。

为了能够采集到主机的运行指标如CPU, 内存,磁盘等信息。我们可以使用Node Exporter。Node Exporter 同样采用 Golang编写,并且不存在任何的第三方依赖,只需要下载,解压即可运行。可以从https://prometheus.io/download/ 获取最新的node exporter 版本的二进制包。

上传安装包

上传node_exporter-1.2.2.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/module 

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv node_exporter-1.2.2.linux-amd64 node_exporter-1.2.2
  • 启动并通过页面查看是否成功
    • 执行./node_exporter
    • 浏览器输入:http://hadoop202:9100/metrics,可以看到当前node exporter 获取到的当前主机的所有监控数据。

节点分发

将解压后的目录分发到要监控的节点

[yudan@hadoop102 module] xsync node_exporter-1.2.2 

修改Prometheus配置文件prometheus.yml,在2.1.3的时候已经添加过配置

- targets: ['hadoop102:9100', 'hadoop103:9100', 'hadoop104:9100']

设置为开机自启

创建service文件

[yudan@hadoop102 module] sudo vim /usr/lib/systemd/system/node_exporter.service

[Unit] 
Description=node_export 
Documentation=https://github.com/prometheus/node_exporter 
After=network.target 

[Service] 
Type=simple 
User=yudan
ExecStart= /opt/module/node_exporter-1.2.2/node_exporter 
Restart=on-failure 

[Install] 
WantedBy=multi-user.target

分发文件

[yudan@hadoop102 module] sudo /home/atguigu/bin/xsync /usr/lib/systemd/system/node_exporter.service

设为开机自启动(所有机器都执行)

[yudan@hadoop102 module] sudo systemctl enable node_exporter.service

启动服务(所有机器都执行)

[yudan@hadoop102 module] sudo systemctl start node_exporter.service

启动 Prometheus Server 、 Pushgateway 和 Alertmanager

Prometheus Server 目录下执行启动命令

[yudan@hadoop102 prometheus-2.29.1]$ nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 & 

Pushgateway 目录下执行启动命令

[yudan@hadoop102 pushgateway-1.4.1]$ nohup ./pushgateway --web.listen-address :9091 > ./pushgateway.log 2>&1 &

在 Alertmanager 目录下启动

[yudan@hadoop102 alertmanager-0.23.0]$ nohup ./alertmanager --config.file=alertmanager.yml > ./alertmanager.log 2>&1 &

打开web 页面查看

  • 浏览器输入:http://hadoop202:9090/
  • 点击 Status,选中Targets:

在这里插入图片描述

  • prometheus、pushgateway和node exporter都是up状态,表示安装启动成功:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/481817.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

linux下docker容器的使用

1、根据已有镜像images创建容器 1.1、查看镜像 如果是接手的别人的项目,需要从以往的images镜像中创建新容器,使用命令查看当前机器上的docker镜像: docker images1.2、创建容器 使用docker run 根据images镜像名创建容器,命令…

查看Scala类的方法

文章目录 一、概述如何查看Scala类的方法二、使用Scala文档查看类的方法三、使用反射机制查看类的方法 一、概述如何查看Scala类的方法 本文介绍了在Scala中查看Int类方法的两种方法:使用Scala标准库文档和使用反射机制。通过Scala标准库文档,您可以方便…

[Netty实践] 请求响应同步实现

目录 一、介绍 二、依赖引入 三、公共部分实现 四、server端实现 五、client端实现 六、测试 一、介绍 本片文章将实现请求响应同步,什么是请求响应同步呢?就是当我们发起一个请求时,希望能够在一定时间内同步(线程阻塞&am…

操作系统面经-用户态和内核态

字节实习生带你面试,后台私信可以获得面试必过大法!! 根据进程访问资源的特点,我们可以把进程在系统上的运行分为两个级别: 用户态(User Mode) : 用户态运行的进程可以直接读取用户程序的数据,拥有较低的…

启动Vue-demo时引发的一系列问题—解决办法

目录 1.初始遇到的问题:输入npm run dev 1.治标的解决方法 2.治本的解决方法 第一步:检查是否安装了cnpm 第二步:手动找到cnpm目录 第三步:配置系统环境变量 第四步:查看是否安装成功 1.初始遇到的问题&#xf…

JavaSE:类与对象

目录 一、前言 二、类与对象的介绍 1.类的定义格式 三、类的实例化 1.类的实例化介绍 2.成员初始化 3.类中方法的实现 四、封装 1.private实现封装 2.getter和setter方法 五、构造方法的使用 1.构造方法的介绍 2.构造方法的特性 六、this引用 1.this的介绍 2.th…

LeetCode---126双周赛

题目列表 3079. 求出加密整数的和 3080. 执行操作标记数组中的元素 3081. 替换字符串中的问号使分数最小 3082. 求出所有子序列的能量和 一、求出加密整数的和 按照题目要求,直接模拟即可,代码如下 class Solution { public:int sumOfEncryptedInt…

Oracle Data Guard常用命令

--查询数据库角色和保护模式 select database_role,switchover_status from v$database; --切换备库为主库(切换后,主库为mount状态) --TO PRIMARY alter database commit to switchover to primary; --SESSIONS ACTIVE alter database comm…

如何保障消息一定能发送到RabbitMQ?

我们知道,RabbitMQ的消息最终是存储在Queue上的,而在Queue之前还要经过Exchange,那么这个过程中就有两个地方可能导致消息丢失。第一个是Producer到Exchange的过程,第二个是Exchange到Queue的过程。 为了解决这个问题&#xff0c…

大学期末考试搜题软件?这4款足够解决问题 #知识分享#笔记#职场发展

当代大学生面临着繁重的学业压力和海量的知识点,如何高效地进行学习和搜题成了他们关注的焦点。幸运的是,随着科技的不断进步,我们有越来越多的日常搜题和学习软件可以帮助我们更好地应对这些挑战。在本文中,我将为大家介绍10款备…

皓学IT:WEB06_ EL表达式JSTL标签库

一、EL表达式 1.1.特点 是一个由java开发的工具包 用于从特定域对象中读取并写入到响应体开发任务,不能向域对象中写入。 EL工具包自动存在Tomcat的lib中(el-api.jar),开发是可以直接使用,无需其他额外的包。 标准…

千万不要错过这9款能让你快速写作成长的宝藏软件…… #科技#学习方法#学习

很多小伙伴想要自己做自媒体,但是却不知道从何下手,今天我就和大家分享一波好用的一些自媒体工具。 1.红桃写作 这是一个微信公众号 面向专业写作领域的ai写作工具,写作助手包括,ai论文,ai开题报告、ai公文写作、ai商业计划书、…

每日五道java面试题之springboot篇(三)

目录: 第一题. Spring Boot 中的监视器是什么?第二题. 如何在 Spring Boot 中禁用 Actuator 端点安全性?第三题. 我们如何监视所有 Spring Boot 微服务?第四题. 什么是 WebSockets?第五题. 什么是 Spring Data ? 第一…

Qt教程 — 3.6 深入了解Qt 控件:Display Widgets部件(2)

目录 1 Display Widgets简介 2 如何使用Display Widgets部件 2.1 QTextBrowser组件-简单的文本浏览器 ​2.2 QGraphicsView组件-简单的图像浏览器 Display Widgets将分为两篇文章介绍 文章1(Qt教程 — 3.5 深入了解Qt 控件:Display Widgets部件-CSDN…

使用POI以OLE对象的形式向excel中插入附件(pdf为例)

前言: 最近在使用easyExcel操作excel文件时,一直想找到一个方法可以往excel中填充附件,但是目前只发现POI可以插入附件,于是将方法记录如下: 实现: 这个方法主要是使用 Apache POI 的 HSSFWorkbook 类来…

带有GUI界面的电机故障诊断(MSCNN-BILSTM-ATTENTION模型,TensorFlow框架,有中文注释,带有六种结果可视化)

本次创作最主要是在MSCNN-BILSTM-ATTENTION模型(可轻松替换为其它模型)基础上,搭建GUI测试界面,方便对你想要测试的数据的进行测试,同时进行了全面的结果可视化:1.训练集和测试集的准确率曲线,2…

第28章 ansible的使用

第28章 ansible的使用 本章主要介绍在 RHEL8 中如何安装 ansible 及 ansible的基本使用。 ◆ ansible 是如何工作的 ◆ 在RHEL8 中安装ansible ◆ 编写 ansible.cfg 和清单文件 ◆ ansible 的基本用法 文章目录 第28章 ansible的使用28.1 安装ansible28.2 编写ansible.cfg和清…

v3-admin-vite 整合pont

需求 目前后端的Admin模板使用的是v3-admin-vite,需要整合pont接口,方便前后端统一一体化开发 安装PONT 按照官方的文档,将pont engine安装好,然后在项目根目录执行pont start。注意生成代码路径要修改一下,因为v3-a…

AI新工具(20240322) 免费试用Gemini Pro 1.5;先进的AI软件工程师Devika;人形机器人Apptronik给你打果汁

✨ 1: Gemini Pro 1.5 免费试用Gemini Pro 1.5 Gemini 1.5 Pro是Gemini系列模型的最新版本,是一种计算高效的多模态混合专家(MoE)模型。它能够从数百万个上下文Token中提取和推理细粒度信息,包括多个长文档和数小时的视频、音频…

Excel数字乱码怎么回事 Excel数字乱码怎么调回来

在日常工作中,Excel是我们最常使用的数据处理软件之一,它强大的功能使得数据处理变得既简单又高效。然而,用户在使用Excel时偶尔会遇到数字显示为乱码的问题,这不仅影响了数据的阅读,也大大降低了工作效率。那么&#…