Jmeter+Grafana+Prometheus搭建压测监控平台

本文不介绍压测的规范与技术指标,本文是演示针对Jmeter如何将压测过程中的数据指标,通过Prometheus采集存储,并在Granfan平台进行仪表盘展示;

介绍

系统压测属于日常项目开发中的一个测试环节,使用测试工具模拟真实用户行为,在已知的软硬件资源下,通过批量压测对项目的服务性能进行检验,从而了解系统接口稳定性、每秒并发瓶颈、错误率多少、响应时间、QPS、流量大小等等;也是为了项目上线后,通过对未来可能达到的系统上限与并发问题,提前进行预测与检验;防止真实上线后未经压力测试,无足够的性能压测评估,当大量请求到来时,可能引起未知的系统崩溃;通过压测,可以撑握系统峰值能力与并发能力,并提前通过风险策略与技术干预,降低系统宕机风险;因此对于企业来说,压测是系统测试与验收过程中必不可少的要求;

常见压测场景:

  • 业务系统上线前压测检验
  • 服务线上遇到性能瓶颈或问题,需要压测复现
  • 对业务接口进行响应测试与并发测试,评估接口响应性能
  • 对不同硬件资源条件下进行系统压测,评估服务软硬件性能
  • 企业或合作方明确要求对系统软件验收压测

压测集成工具

Jmeter

JMeter 是一个开源的负载测试和性能测量工具,由Apache软件基金会开发。JMeter采用JAVA开发,它主要用于测试Web应用程序,但也可以测试各种服务。JMeter可以模拟多个用户同时发送请求到服务器,以测试其负载能力和性能。

JMeter 是一个强大的工具,适用于开发者和测试工程师用来确保他们的应用程序可以承受预期的用户负载。

主要特点:

  • 多协议支持:支持HTTP, HTTPS, FTP, SOAP, REST, TCP等。
  • 可扩展:可以通过插件扩展功能。
  • 友好的GUI:提供图形用户界面,便于设计和执行测试。
  • 结果分析:可以生成图形报告,帮助分析测试结果。
  • 多线程框架:允许并发和同时抽样多个函数。

使用场景:

  • 性能测试:测试应用程序在高负载下的表现。
  • 负载测试:确定应用程序的最大操作能力。
  • 压力测试:测试应用程序在超过正常负载条件下的表现。

官方网站:Apache JMeter - Apache JMeter™

Prometheus

Prometheus 是云原生计算基金会项目,是一个系统和服务监控系统。它以给定的时间间隔从配置的目标收集指标,评估规则表达式,显示结果,并可以在观察到指定条件时触发警报。

Prometheus监控系统包括丰富的多维数据模型、简洁而强大的PromQL查询语言、高效的嵌入式时间序列数据库以及与第三方系统的150多个集成;

Prometheus 与其他指标和监控系统的区别在于:

  • 多维数据模型(由指标名称和键/值维度集定义的时间序列)
  • PromQL,一种强大而灵活的查询语言,可以利用这种维度
  • 不依赖分布式存储;单个服务器节点是自治的
  • 用于时间序列收集的HTTP拉模型
  • 通过批处理作业的中间网关支持推送时间序列
  • 通过服务发现或静态配置发现目标
  • 多种图形和仪表板支持模式
  • 支持分层和水平联合

Github地址:GitHub - prometheus/prometheus: The Prometheus monitoring system and time series database.

Grafana

Grafana 开源是开源可视化和分析软件。它允许您查询、可视化、警报和探索您的指标、日志和跟踪,无论它们存储在何处。它为您提供了将时间序列数据库 (TSDB) 数据转换为富有洞察力的图表和可视化的工具。

Grafana支持非常多的数据源,同时又有强大的可视化、告警等非常强大的功能,因此在数据分析、指标追踪和数据查询等方面,需多的公司在运维指标、日志分析、大屏展示等有实际应用;在项目监控、运维、服务器指标等业务上,是一个强大可靠的分析平台;

官网:http://grafana.com

注:相关软件从各自平台或官网下载即可。Jmeter安装比较简单,下载压测包后解压即可用(需安装jdk1.8+),Grafana和Prometheus安装过程参考《Grafana,Loki,Tempo,Prometheus,Agent搭建日志链路监控平台》,此处不在重述;

Jmeter集成插件

待上述软件安装后,我们通过一个简单示例演示Jmeter工具如何配置Prometheus插件与Prometheus采集指标;

Jmeter配置插件

启动Jmeter后,通过菜单:选项》Plugins Manager,进入插件管理窗口,安装Prometheus Listener Plugin插件

在弹出的插件管理窗口中,点击"Available Plugins"选项卡,在搜索框中输出Prometheus查找Prometheus Listener Plugin插件

此处我已提前安装过,在“Installed Plugins”选项卡中,已存在Prometheus Listener Plugin插,注意:安装后如果在线程组上右键找不到“添加》监听器》Prometheus Listener”选项,可能需要重启一下jmeter 即可,或在Jmeter安装目录lib\ext下是否有jmeter-prometheus-plugin-0.6.0.jar,如果没有需重新安装,或通过github开源项目上下载最新jar放到lib\ext目录下即可;

Prometheus Listener Plugin插件介绍:

Prometheus Listener Plugin是JMeter中的一个开源插件,通过可配置的监听器(和配置元素),允许用户定义他们自己的指标(名称、类型等),并通过 Prometheus /metrics API 公开它们,以供 Prometheus 服务器抓取。

Github地址:GitHub - johrstrom/jmeter-prometheus-plugin: A Prometheus Listener for Apache JMeter that exposes results in an http API

在线程组上使用Prometheus Listener 监听器后,启动Jmeter压测,即会自动监听本机默认9270端口,也可通过Jmeter安装目录bin/jmeter.properties属性配置文件进行修改,添加如下配置(默认无以下配置),相关配置说明请参考Github项目文档说明;

#---------------------------------------------------------------------------
# Documentation jmeter-prometheus-plugin插件配置 
#---------------------------------------------------------------------------

# http服务器将绑定到的端口
prometheus.port=9270
# http服务器将绑定到的ip
prometheus.ip=0.0.0.0
# http服务器在被销毁之前等待的延迟(以秒为单位)
prometheus.delay=3
# 保存和收集 jmeter 线程指标的True或false值
prometheus.save.threads=true
# 描述jmeter线程的指标名称
prometheus.save.threads.name=jmeter_threads
# 从JVM收集指标
prometheus.save.jvm=true

如上,已完成Jmeter prometheus plugin插件安装与配置;

创建Jmeter压测线程

压测线程组

选择根Test Plan右键:添加》(线程)用户》线程组,新建一个线程组,命名:Prometheus指标压测

配置线程数:6000

Ramp-Up时间(秒):3000

循环次数:1

表示整个Jmeter压测过程中共创建6000个线程在3000秒内请求完毕,并只执行1轮(循环次数为1);

此配置目的是为了让Jmeter保持较长时间的请求,从而在Grafana上展示较长的仪表线条;

注:实际压测会根据真实需求配置线程数和时间,此处只做演示用;

添加取样器

HTTP请求:发起http协议请求,用于向指定WEB服务URL发起请求(注意:将名称更改为"HTTP Request",因为默认jmeter对中文输出没做处理,prometheus采集过程中会乱码,导制数据不显示);

HTTP请求配置如下:

在路径上配置任务WEB服务请求接口,此处示例路径为:http://127.0.0.1:8080/hello

添加监听器

聚合报告:展示每一轮压测的性能数据指标,如:样本数、平均值、中位数、90%百分人头、95%百分位、99%百分位、最小值、最大值、异常率、吞吐量、接收大小、发送大小等;

用表格查看结果:用于展示每个线程请求的列表

Prometheus Listener:配置Jmeter压测过程中,prometheus plugin插件可采集的指标;

Prometheus Listener配置如下:

指标说明:jmeter_summary(响应时间)、jmeter_count_total(取样器总数)、jmeter_success_total(成功总数)、jmeter_response_size(响应大小)、jmeter_success_ratio(成功率)、jmeter_latency_as_hist(网络延迟)、jmeter_idle_time(空闲时间)、jmeter_failure_total(错误总数)、jmeter_connect_time(链接时间)

列表头字段说明

  • Name(名称):指标的名称。
  • Help(帮助):指标的帮助消息。
  • Labels(标签):要应用于指标的以逗号分隔的标签列表。

         label是一个关键字。在 JMeter 中,它表示采样器的名称。

         code是一个关键字。这是结果的响应代码。

         此处可以使用 JMeter 变量。请参阅下面的部分。

  • Type(类型):您正在创建的指标类型。

        有关指标类型的信息,请参阅Prometheus 文档:Metric types | Prometheus

        SUCCESS_RATION(成功率)是该插件特有的内容。

  • Buckets or Quantiles(分位数桶):

        桶是逗号分隔的数字列表。可以是整数或小数。

        分位数是,用竖线分隔的逗号分隔的小数对|。第一个小数是分位数,第二个小数是错误等级。或者可以在分隔符之后指定用于计算分位数的窗口长度。样本:0.8,0.01|0.9,0.01|0.95,0.005|0.99,0.001;60

  • Listen To:用于收听示例或断言的下拉列表。这仅适用于 Counters 和 SuccessRatio 类型指标。
  • Measuring(测量):可以测量的所有内容的下拉菜单:响应时间、响应大小、空闲时间、连接时间、总数、失败总数、成功总数、成功率

压测示例

运行SpringBoot服务

此处不在额外演示工程创建过程,以《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】

在SprinbBoot项目启动类中新增一个后台HTTP接口;

@RestController
@SpringBootApplication
public class ApplicationStart {
    public static void main(String[] args) {
        SpringApplication.run(ApplicationStart.class, args);
    }
    
    @RequestMapping("/hello")
    public String hello(){
        //为了演示指标显示的更全,每30s人为抛出一个异常
        Calendar calendar = Calendar.getInstance();
        if (calendar.get(Calendar.SECOND)  == 30) {
            throw new RuntimeException("error");
        }
        return "ok,200";
    }
}

右键》Run...,启动SpringBoog项目;

运行Jmeter压测

SpringBoog项目运行后,回到Jmeter工具中,点击绿色三角形,启动压测线程组,向已配置Http请求路径发起持续一段时间的压测请求;

点击聚合报告监听器,此时已有统计指标数据展示在列表中;

指标采集

Prometheus配置

在Prometheus安装目录下,找到prometheus.yml,添加Jmeter采集配置后(如下所示),重新启动Prometheus服务;

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]
  - job_name: "spring"
    metrics_path: "/actuator/prometheus"
    static_configs:
      - targets: ["localhost:8080"]
  - job_name: "jmeter"
    static_configs:
      - targets: ["localhost:9270"]
  • prometheus:为自身采集指标连接配置
  • spring:为测试项目SpringBoot服务采集指标连接配置
  • jmeter:为Jmeter压测工具采集指标连接配置

采集服务查看

浏览器访问:http://localhost:9090/targets打开Prometheus管理平台Status》Targets菜单,Jemeter和SpringBoot服务已显示为up(上线状态);到此,Prometheus已成功对Jemeter服务和SpringBoot服务端访问与指标采集;

指标可视化

Grafana配置Dashboard

在Grafana中配置Prometheus为数据源后,此处省略安装过程.......(可参考《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】),通过Grafana官网的dashboards共享仪表盘资源页面,找到“JMeter_Promethius_Grafana”,资源ID:14927

在Grafana》Dashboards页面,点击右上角“New”下拉按钮,找到“Import”选项;

进入仪表资源导入界面,在Import via grafana.com下文本框中输入:14927,点击Load加载即可;

在回到Dashboards页面,找到我们导入的仪表盘Jmeter_promethius_Grafana,点击即可展示完整的指标仪表;

Dashboard压测仪表盘

进入Grafana平台,点击菜单Dashboards,打开列表中的仪表盘“Jmeter_promethius_Grafana”,通过仪表盘清析的看见jmeter指标数据通过Prometheus已采集入库,通过动态或实时查询Prometheus刷新页面可视化仪表数据;

实际采集的指标比较多,并且Jmeter也支持扩展自定义指标,如果缺少需观测的指标仪表盘,可以直接在当前界面点击右上角的Add链接创建,此处不做详述,有兴趣可自行摸索;

再一次回到Dashboards菜单主页,点击通过《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】,导入的SpringBoot共享仪表盘”SpringBoot APM Dashboard“,进入仪表盘页面,查看压测过程中Prometheus动态采集的SpringBoot服务指标数据;

到此已为项目建立了一套完整的压测监控平台,让系统服务压测过程变的更丝滑与指标可视化;

Prometheus远程写入

细心的朋友,可能会问到:Jmeter部署在本机,而Prometheus部署在远程公共服务上,让Prometheus访问本机服务拉取指标数据先不说可不可行,运维大佬也不会同意,那该怎么办?不用担心,Prometheus支持远程存储集成。

Prometheus远程存储

通过启用Prometheus公共服务远程写入接收器(启动过程中加入--web.enable-remote-write-receiver命令参数),开启写入接收器端点:/api/v1/write;

再在本机安装一个Prometheus来采集Jmeter指标,通过remote_write配置远程输出到Prometheus公共服务接收器端点上完成数据存储写入;

Prometheus官方文档关于remote_write(远程存储)介绍:

Configuration | Prometheus

Prometheus官方文档关于Remote storage integrations(远程存储集成)介绍:

Storage | Prometheus

-- 启用远程写入--web.enable-remote-write-receiver
./prometheus --config.file=./prometheus.yml --web.enable-remote-write-receiver

Prometheus本地推送

修改本地prometheus.yml文件在,末尾加上remote_write配置,写入到远程Prometheus服务存储里;重启本地Prometheus服务后,相当于本地Prometheus成为一个采集和转发服务;

remote_write:
  - url: http://192.168.1.100:9090/api/v1/write

如下,在远程公共Prometheus服务上查询本地jmeter压测指标数据在仪表上展示;

公共Prometheus服务成功将本地Prometheus推送的采集数据写入到远程存储中,剩下的就是在Grafana上导入上述Jmeter仪表大盘和SpringBoot仪表大盘;

结束

上述演示如何使用Jmeter+Prometheus+Grafana的集成过程,实际开发测试过程中,对于Jmeter压测中的配置、线池数、指标等,需要根据真实情况而定;本文只是演示讲解压测集成平台,不具有真实项目代表性,仅作参考;

通过前面的文章《SpringBoot+Prometheus采集Metrics指标数据》,演示了如何通过Prometheus采集SpringBoot项目的指标数据,对系统服务的运行进行监控;

再通过本文介绍Jmeter压测工具集成Prometheus插件,利用Prometheus采集Jmeter压测过程中的数据指标,输出到Grafana的Dashboard仪表盘中实时与动态展示,让开发人员与测试人员,对系统服务监控指标有清晰了解,能让服务管理者快速定位系统程序运行过程中的突发指标问题与性能瓶颈;从此以后,再也不怕甲方强烈要求你提供压测性能报告了,只需将相关压测指标数据一查,再将仪表大盘截份图,整成报告文档直接甩对方面前潇洒离场;

参考:

SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客

GitHub - johrstrom/jmeter-prometheus-plugin: A Prometheus Listener for Apache JMeter that exposes results in an http API

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/629751.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Facebook企业户/在Facebook上做推广有什么好处?

想到出海,必会想到Facebook作为世界上最大的社交网络,Facebook拥有难以想象的用户数量,流量大到没朋友。近年来也是独立站卖家获取流量的有力工具之一。独立站卖家在Facebook上做广告的好处? Facebook,Google 开企业广…

使用RN的kitten框架的日历组件的修改

官方网页地址 下面就是我参考官方封装的时间日期组件(主要是功能和使用方法,页面粗略做了下,不好看勿怪) import React, {useState} from react; import {StyleSheet, View, TouchableOpacity, SafeAreaView} from react-native; …

Go微服务: 日志系统ELK核心架构设计

微服务日志系统建设 1 )为什么需要日志系统 业务发展越来越庞大,服务器越来越多各种访问日志,应用日志,错误日志量越来越多,无法管理开发人员排查问题,需要到服务器上查日志 2 )Elastic Stack…

文件系统和软硬连接

一、磁盘 磁盘可以存储大量的二进制数据,并且断电后也能保持数据不丢失。因此磁盘是一种永久性存储介质,在计算机中,磁盘是一个外设,也是唯一的机械设备。既然磁盘是一个外设,那么就意味着,磁盘和内存&…

Linux无root配置Node,安装nvm

1. 安装NVM: curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash # 或者,如果你使用wget wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash 对于bash用户,可以运行&…

正点原子[第二期]Linux之ARM(MX6U)裸机篇学习笔记-15.6讲 GPIO中断实验-GPIO驱动添加中断处理函数

前言: 本文是根据哔哩哔哩网站上“正点原子[第二期]Linux之ARM(MX6U)裸机篇”视频的学习笔记,在这里会记录下正点原子 I.MX6ULL 开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了正点原子教学视频和链接中的内容。…

Weblogic 管理控制台未授权远程命令执行漏洞(CVE-2020-14882,CVE-2020-14883)

1 漏洞概述 Weblogic Pre-Auth Remote Command Execution 漏洞(CVE-2020-14882, CVE-2020-14883)是针对 Oracle WebLogic Server 的两个安全漏洞。CVE-2020-14882 允许远程用户绕过管理员控制台组件中的身份验证,而 CVE-2020-14883 则允许经…

基于springboot+vue+Mysql的大学生社团活动平台

开发语言:Java框架:springbootJDK版本:JDK1.8服务器:tomcat7数据库:mysql 5.7(一定要5.7版本)数据库工具:Navicat11开发软件:eclipse/myeclipse/ideaMaven包:…

Web应用开发中查找慢SQL的方法

每条SQL语句在执行时都需要消耗一定的I/O资源,SQL语句执行的快慢直接决定了硬件资源被占用时长的长短,慢SQL一般指查询很慢的SQL语句。在MySQL数据库中,可以通过慢查询来查看所有执行超时的SQL语句。在默认情况下,一般慢SQL是关闭…

基于NIOS-II软核流水灯和串口通信实现

文章目录 一、创建工程二、系统设计1. 在 “component library” 标签栏中找到 “Nios II Processor” 后点击 Add2. 在 ”Component Library” 标签栏中的查找窗口输入 jtag 找到 ”JTAG UART ”,然后点击 Add3. 添加片上存储器 On-Chip Memory(RAM)核4. 查找窗口输…

Keil手动安装编译器V5版本

V5编译器下载:免积分下载 新版的keil不会自动帮你安装V5版本的编译器,但是很多教程很多比赛所用单片机都是V5的编译器,所以用来开以前的或者开源的很多东西编译直接一大堆报错。 吐槽说完了接下来教你怎么解决 打开installer(在…

springboot+vue+mybatis物业管理系统+PPT+论文+讲解+售后

快速发展的社会中,人们的生活水平都在提高,生活节奏也在逐渐加快。为了节省时间和提高工作效率,越来越多的人选择利用互联网进行线上打理各种事务,通过线上物业管理系统也就相继涌现。与此同时,人们开始接受方便的生活…

软件压力测试怎么做

随着信息技术的迅猛发展,软件在各行各业的应用越来越广泛,其稳定性、可靠性和性能表现也受到了越来越多的关注。在这样的背景下,软件压力测试显得尤为重要。本文将详细介绍软件压力测试的概念、目的、方法以及实施步骤,帮助读者更…

「JavaEE」多线程案例1:单例模式阻塞队列

🎇个人主页:Ice_Sugar_7 🎇所属专栏:JavaEE 🎇欢迎点赞收藏加关注哦! 多线程案例分析 🍉单例模式🍌饿汉模式🍌懒汉模式🍌指令重排序 🍉阻塞队列&a…

eMMC和SD模式速率介绍

概述 在实际项目开发中我们常见的问题是有人会问,“当前项目eMMC、SD所使用模式是什么? 速率是多少?”。这些和eMMC、SD的协议中要求的,要符合协议。接下来整理几张图来介绍。 eMMC 模式介绍 一般情况下我们项目中都是会支持到HS400 8bit 1.8V,最大时钟频率为200MHZ,通…

Idea入门:一分钟创建一个Java工程

一,新建一个Java工程 1,启动Idea后,选择 [New Project] 2,完善工程信息 填写工程名称,根据实际用途取有意义的英文名称选择Java语言,可以看到还支持Kotlin、Javascript等语言选择包管理和项目构建工具Mav…

十款开源数据集成工具

在大数据作业开发中,数据集成工具是非常重要的一个环节,一个好的数据集成系统从可用性、架构扩展性、底层引擎选型、数据源支持能力等方面都需要一定的考量,在本文中汇总了十款开源的数据集成系统,作者本人在过往的开发过程中&…

【记录】docker笔记(五):Docker网络-Network Namespace

Docker 网络理论基础 要了解docker网络,先了解如下基础概念。 Network Namespace Docker 网络的底层原理是 Linux 的 Network Namespace ,所以对于 Linux Network Namespace 的理解对 Docker 网络底层原理的理解非常重要。 简介 Network Name…

LeetCode328奇偶链表

题目描述 给定单链表的头节点 head ,将所有索引为奇数的节点和索引为偶数的节点分别组合在一起,然后返回重新排序的列表。第一个节点的索引被认为是 奇数 , 第二个节点的索引为 偶数 ,以此类推。请注意,偶数组和奇数组…

node.js的Express框架的介绍 与 安装详细教程

一、Express框架介绍 (1)Express定义: Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用,和丰富的 HTTP 工具。 使用 Express 可以快速地搭建一个完整功能的网站。 &#xff08…