Jmete+Grafana+Prometheus+Influxdb+Nginx+Docker架构搭建压测体系/监控体系/实时压测数据展示平台+遇到问题总结

背景

需要大批量压测时，单机发出的压力能力有限，需要多台jmeter来同时进行压测；发压机资源不够，被压测系统没到瓶颈之前，发压机难免先发生资源不足的情形；反复压测时候也需要在不同机器中启动压测脚本，更改脚本变动麻烦，收集压测数据难，启动和关闭压测进程难，分布式压测可以让压测时机的把控更准确，实现自由伸缩，一次配置，随处运行。

本文可实现从0到1搭建体系

可能面对的缺点：

1. 单台并发量不够，发压机资源不足
2. 手动方式在不同发压机上脚本更改麻烦
3. 测试结果难以整理
4. 扩增新节点发压时调试麻烦
5. 压测开始/结束时间点无法统一，手动操作有误差
6.长时间压测时，压测数据积压问题。超过1G的压测结果会出问题，严重影响磁盘IO（可更改采点时间间隔，但不是所有场景都适用如果想看到更细粒度数据就会很吃力）。
7. 压测数据保存。每次压测默认会覆盖上次的结果，虽然可以更改复写机制，但总会有超过阈值大小的时间，如果可能 保存到数据库更好。
8. 压测数据展示，不太美观。每次压测完需要根据jtl文件生成html报告
9. 发压机资源监控，无法知道发压机是否达到资源瓶颈，是否需要添加额外服务器，此举可有效节约服务器资源。
10. 每次执行都需要登录服务器进行操作，是否可集成到Jenkins中，每次运行直接在web端指定IP地址，进行压测？（需详细调研加以尝试）
一台Master，一台Slave，每次扩展只需要对Slave打一个镜像，拷贝几个相应虚拟机，压测时直接指定相应IP地址 

搭建阶段

1.集群压测+数据入库 

2.发压机指标监控 

3.CI/CD集成Jenkins （待定）

Jmeter 分布式集群搭建

一. 分布式压测注意点

  1、运行相同版本的JMeter(两台机器版本不一致，需要重新升级)

  2、使用相同的java版本

  3、都在一个网段

  4、server.rmi.ssl.disable开关一致

  5、关闭防火墙

  6、使用的JMeter插件一致

  7、如果压测的是java脚本，需要将java脚本和相关lib包都放在jmeter目录lib/ext下，在每一台机器上都得有脚本文件和依赖的jar包（如果是http脚本，在Master的机器上有脚本文件即可）

  8、将jmeter的场景文件jmx上传到Master jmeter的任意位置，参数文件需要放到每一台压力机上（如果脚本中涉及从外部读取的csv文件，那该文件就需要上传到各个slaver施压机上） 9、关闭运行时千万不要通过control+c终止运行，需要再开一个窗口，在主jmeter的bin目录下"./shutdown.sh" 就会向从压力机发布指令，结束运行；

  10、若是脚本中设置的并发线程数是100，采用3台slaver机器去施加压力，那么对于服务端来说，此时的并发线程数是300。

二. Jmeter分布式压测原理了解

1、分为控制器（controller）和代理（agent），也有人叫master机和slave机（总控机器的节点master，其他产生压力的机器叫“肉鸡” server） 2、master会把压测脚本发送到 server上面

3、执行的时候，server上只需要把jmeter-server打开就可以了，不用启动jmeter 4、结束后，server会把压测数据回传给master,然后master汇总输出报告

controller 作为控制器不加入实际测试，只负责发送和收集 agent 信息。

三.参数优化

1. 控制台 取样 间隔的设置（linux中的日志输出时间间隔）

summariser.interval=10，默认时间为30秒，最低可修改为6秒 (在jmeter的bin目录下 jmeter.properties)

2. JVM优化 （按照4c 8g配置）

因为整台服务器就是为性能测试使用，所以jvm堆栈可以调到最大比例，防止压测时发压机OOM异常。修改jmeter的bin目录下，vi jmeter，修改HEAP的size大小如下,也可以设置为6G，建议自测调整JVM大小

"${HEAP:="-Xms4g -Xmx4g -XX:MaxMetaspaceSize=512m"}"

3. 修改默认编码

sampleresult.default.encoding=UTF-8

4. linux中没有实时输出日志

解决不输出实时日志：修改配置文件jmeter.properties中的配置项

找到 #summariser.ignore_transaction_controller_sample_result=true 改为 summariser.ignore_transaction_controller_sample_result=false

5. 进入jmeter的bin目录下，修改reportgenerator.properties

修改 jmeter.reportgenerator.overall_granularity=1000 （报表中数据展示间隔1秒钟）

6. 打开主从机器交互配置，修改jmeter.properties文件

将server.rmi.ssl.disable=true（去掉注释）【主从之间默认是https的，在局域网内部使用，没有必要使用https方式】

 7. 指定运行 slave节点，二选一配置

本机通过第二种方式

更改bin/jmeter-server，指定RMI_HOST_DEF=-Djava.rmi.server.hostname=本机内网ip，或者通过运行命令指定本机IP来启动nohup ./jmeter-server -Djava.rmi.server.hostname=192.168.0.107 &

否则会报错如下：

Server failed to start: java.rmi.RemoteException: Cannot start. localhost.localdomain is a loopback address. An error occurred: Cannot start. localhost.localdomain is a loopback address.

8.压测执行 顺序

1. slave以server方式执行

执行命令如下(需要确认下新开的slave 是否会执行该命令 加载环境变量 将本机IP刷到Jmeter参数中)

该命令会将slave上的Jmeter以后台方式运行，并且将当前机器ip添加到jmeter-server配置中

localhostPrivateIp=$(/sbin/ifconfig -a eth0 |grep inet|grep -v 127.0.0.1|grep -v inet6 | awk '{print $2}' | tr -d "addr:") && nohup ./jmeter-server -Djava.rmi.server.hostname=$localhostPrivateIp &

2.Master压测

运行时需要指定—R 127.0.0.1 128.0.0.1 

jmeter -n -t getUserInfoById.jmx -l res.jtl -R 112.16.63.227(slave的内网ip地址英文逗号分隔)

如果想要压测执行，请在Master节点中

进入jmeter/bin/目录下
运行 ./shundown.sh

实时数据展示平台搭建

使用Docker+Nginx+Prometheus+Grafana+Influxdb+Node-exporter方式

1.InfluxDb部署和配置 

拉取镜像
docker pull influxdb:1.7.10

启动容器
（后面的命令是为了让容器和宿主机的时间一致，避免因时间不一致导致的数据不显示问题）

docker run  -d --name=influxdb -p 8086:8086 -v ${PWD}:/var/lib/influxdb influxdb:1.7.10  /etc/localtime:/etc/localtime


进入容器
docker exec -it influxdb bash 

输入命令
influx

进入influx内部
show databases;
查看influxdb现有数据库

使用命令
create database jmeter; 
创建名为jmeter的数据库

use jmeter; 
使用该数据库 

show measurements;
查看下面具备哪些表


select * from "表名字"；
查看表中具有哪些数据

效果展示 

2.Grafana部署

Grafana就是一个报表展示平台，相比来说配置和安装更加容易，Grafana版本之间可能会有稍许差别，此处使用版本9.3.2；

拉取镜像
docker pull grafana/grafana:9.3.2

运行镜像
（--link 是为了让grafana和influxd网络互通）
docker run -d --name=grafana --link=influxdb:influxdb -p 3000:3000 grafana/grafana:9.3.2

效果截图

3.Prometheus部署和配置

注意

首先在tmp目录下新建prometheus和prometheus.yml文件

prometheus+docker方式部署+加载Nginx端口转发配置+允许热加载node-exporter+挂在配置文件到宿主机+prometheus允许后缀名方式访问（和Nignx配置对应）

拉取镜像
docker pull pro/prometheus 

运行镜像
docker run -d -p 9090:9090 -v /tmp/prometheus:/etc/prometheus --name=prometheus prom/prometheus --config.file=/etc/prometheus/prometheus.yml --web.route-prefix=/ --web.external-url=/prometheus/ --web.enable-lifecycle

安装完prometheus并配置好Nginx和Node-exporter 后可访问IP/prometheus/ ，查看prometheus配置了几个node-exporter

4.Nginx 部署（Yum方式）

yum install -y nginx

安装完nginx , 修改配置文件，在/etc/nginx/nginx.conf

运维给我开通的是外网80端口，所以我就直接用80端口代理Grafana的web页面

完整http块内的配置如下（可能有的配置冗余，但也懒得去排查修改了）

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 4096;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    include /etc/nginx/conf.d/*.conf;

    server {
        listen       80;
        listen       [::]:80;
        server_name  _;
        root         /usr/share/nginx/html;

      location /prometheus/{
        proxy_pass http://127.0.0.1:9090/;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_redirect default;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "Upgrade";
        proxy_set_header Host $http_host;

           }

      location /influxdb/ {
        proxy_pass http://127.0.0.1:8086/;
           }

      location ^~ / {
       index index.html index.htm;
        proxy_pass http://127.0.0.1:3000/;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_redirect default;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "Upgrade";
        proxy_set_header Host $http_host;
           }

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        error_page 404 /404.html;
        location = /404.html {
        }

        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
        }
    }

5. Jmeter压测数据写入Influxdb

在相应Thread Group中添加Backend Listener，最好给不同的Backend Listener 起不同的名字，防止同时多脚本压测时出现数据写入混乱的问题；

  • 1. 选择指定implementation

  • 2.填写influxdb所在地址和端口，以及数据库名，如下截图（因为脚本要跑在Linux内网环境，所以 URL 我写的是内网IP）

  • 3.measurement名字填写jmeter

  • 4.application 可以填写指定名称（不同脚本）

  • 5.填写的application名称会在Dashboard中的 application内显示，执行压测脚本时，会显示实时数据

  • 6.Transaction 显示的是Samper名称

效果展示

6. Node-exporter部署，监控发压机

在需要监控的机器上，使用docker方式部署node-exporter

新服务器部署node-exporter 步骤 
docker pull prom/node-exporter

docker run -d --net="host" --name node_exporter --restart=unless-stopped -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" prom/node-exporter

然后在prometheus中配置该node-exporter所在地址和端口号 

  - job_name: 'Jmeter-slave-'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['IP:9100']

加上新配置的node-exporter之后，使用命令在prometheus所在机器 进行 prometheus热加载更新，然后访问Prometheus web页面，确认该node-exporter是否添加到监控体系当中 

curl -X POST http://ip:9090/-/reload

7.Grafana展示Jmeter实时压测数据+展示Node-exporter数据

点击grafana的logo看到COMPLETE，add data source 新增数据源

1.Grafana 配置 Jmeter压测数据源 

指定docker中的influxdb:8086，并指定jmeter数据库，点击save and test 通过即成功；

2. 展示Jmeter实时压测数据

Import 5496，点击load，加载出来后指定刚增加的data source Influxdb，指定表名字 jmeter，点击import ；

压测时即可看到实时数据，展示效果如下

application名称是Backend listener中填写的application 名称

Transaction 显示的是Samper名称

3.添加Prometheus+node-exporter主机监控数据源

仿照上述新增数据源，内网ip/prometheus/,测试通过即可

4. 展示主机监控数据，添加Dashboard

import dash board 8919，导入并保存即可

效果展示

问题总结

1. 为什么用Nginx？

因为运维只给开一个端口，但是还有那么多服务需要用，所以用作端口代理。

2. 为什么用Docker？

因为Docker部署更加方便。

3. Docker和Jmeter压测时时间不一致，无法写入数据（Grafana和Jmeter压测时间）

docker run -p 3306:3306 --name mysql -v /etc/localtime:/etc/localtime
根据需求更改启动容器时的参数，将宿主机的时间和docker时间一致（docker和宿主机在同一台机器）

4. Jmeter数据无法写入Influxdb数据库，查询measurements为空

Jmeter：配置后端监听器（Backend Listener），使用Nginx作为端口转发，将Influxdb的服务映射到/influxdb路径

5.Jmeter入库后，Grafana配置数据源失败

在docker中运行时指定docker内influx的网络，配置时使用influxdb:8086

6.Grafana展示Jmeter中的数据为空

配置后端监听器measurement值为jmeter，否则读取不到数据

7.多个脚本同时执行添加了后端监听器，压测数据被写入到同一个Application库中

默认根据监听器名称进行判断监听器有没有执行，解决方案，不同后端监听器起不同的名称

8. Grafana 监控发压机 指标数据显示 no data

使用curl查看9100是否能取到node-exporter数据，如果可以取到 去prometheus web页面查看prometheus是否配置成功

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/98484.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

OpenCV c++ 使用imshow显示灰色窗口

OpenCV c++ 使用imshow显示灰色窗口

OpenCV使用imshow显示灰色窗口 原因是使用了system(‘pause’);函数，只需要将该函数去掉，使用opencv中的对应函数 waitKey(0) 即可实现同样效果。 system(“pause”); 改为： cv::waitKey(0); 显示效果：
阅读更多...
金融客户敏感信息的“精细化管控”新范式

金融客户敏感信息的“精细化管控”新范式

目 录 01 客户信息保护三箭齐发，金融IT亟需把握四个原则‍ 02 制度制约阻碍信息保护的精细化管控 ‍‍‍‍‍‍‍ 03 敏感信息精细化管控范式的6个关键设计 04 分阶段实施，形成敏感信息管控的长效运营的机制 05 未来，新挑战与新机遇并存 …
阅读更多...
2023蓝帽杯初赛ctf部分题目

2023蓝帽杯初赛ctf部分题目

Web LovePHP 打开网站环境，发现显示出源码 来可以看到php版本是7.4.33 简单分析了下，主要是道反序列化的题其中发现get传入的参数里有_号是非法字符，如果直接传值传入my_secret.flag，会被php处理掉 绕过 _ 的方法 对于__可以…
阅读更多...
vue自定义事件 div 拖拽方法缩小

vue自定义事件 div 拖拽方法缩小

在main.js 引用 // 引入拖动js import dragMove from "./utils/dragMove.js" 创建 drawmove.js export default (app) > {app.directive(dragMove, (el, binding) > {const DragVindow el.querySelector(binding.value.DragVindow)// 按下鼠标处理事件con…
阅读更多...
【java中的Set集合】HashSet、LinkedHashSet、TreeSet（最通俗易懂版！！）

【java中的Set集合】HashSet、LinkedHashSet、TreeSet（最通俗易懂版！！）

目录 一、HashSet集合 1.HashSet集合的特点 2.HashSet常用方法 二、LinkedHashSet集合 LinkedHashSet集合的特点 三、TreeSet集合 1.TreeSet集合的特点 2.TreeSet的基本使用 四、HashSet、LinkedHashSet、TreeSet的使用场景 五、list和set集合的区别 一、HashSet集合 …
阅读更多...
分布式任务调度框架

分布式任务调度框架

分布式任务调度框架 学习为主 文章目录 分布式任务调度框架一、概念二、架构图三、任务调度的流程定时触发任务是如何实现的？：使用时间轮实现定时执行任务逻辑:3.1 对到达now时间后的任务（超出now 5秒外)3.2 对到达now时间后的任务&#xff0…
阅读更多...
苹果为 Vision Pro 头显申请游戏手柄专利

苹果为 Vision Pro 头显申请游戏手柄专利

苹果Vision Pro 推出后，美国专利局公布了两项苹果公司申请的游戏手柄专利，其中一项的专利图如下图所示。据 PatentlyApple 报道，虽然申请专利并不能保证苹果公司会推出游戏手柄，但是苹果公司同时也为游戏手柄申请了商标&#xff0…
阅读更多...
Navicat使用HTTP通道服务器进行连接mysql数据库（超简单三分钟完成），centos安装nginx和php，docker安装nginx+php合并版

Navicat使用HTTP通道服务器进行连接mysql数据库（超简单三分钟完成），centos安装nginx和php，docker安装nginx+php合并版

序言 因为数据库服务器在外网是不能直接连接访问的，但是可以访问网站，网站后台就能访问数据库，所以在此之前，访问数据库的数据是一件非常麻烦的事情，在平时和运维的交流中发现，他们会使用ssh通道进行连接访…
阅读更多...
解决Apache Tomcat “Request header is too large“ 异常 ‍

解决Apache Tomcat “Request header is too large“ 异常 ‍

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…
阅读更多...
RC电路（二）：耦合

RC电路（二）：耦合

耦合仿真电路及波形 数值与输入方波宽度 之间满足：，将变成一个 耦合电路，输出波形可以跟随输入波形，电路如下图所示。 上图红框部分放大后如下图所示： 在 时， 由 ，因电容电压不能突变(来不及…
阅读更多...
祝贺！Databend Cloud 和阿里云 PolarDB 达成认证

祝贺！Databend Cloud 和阿里云 PolarDB 达成认证

近日，北京数变科技有限公司旗下产品与阿里云 PolarDB 开源数据库社区展开产品集成认证。 测试结果表明，北京数变科技有限公司旗下产品《Databend Cloud（V1.25）》正式通过了《阿里云 PolarDB 数据库管理软件》的技术认证&#xff…
阅读更多...
「C++程序设计 (面向对象进阶)」学习笔记・一

「C++程序设计 (面向对象进阶)」学习笔记・一

0、引言 本专栏的系列文章是在学习 北京邮电大学 崔毅东 老师的《C程序设计 (面向对象进阶)》课程过程中整理的。欢迎前往专栏了解更多相关内容~ 😀 有关于现代 C 的基本介绍，请前往《现代C基本介绍》！ 🔔 先决条件 本专栏的系列…
阅读更多...
BIO到NIO、多路复用器, 从理论到实践, 结合实际案例对比各自效率与特点(上)

BIO到NIO、多路复用器, 从理论到实践, 结合实际案例对比各自效率与特点(上)

文章目录 文章引入IO模型及概念梳理BIO简单介绍代码样例压测结果 NIO(单线程模型)简单介绍与BIO的比较代码样例压测结果 多路复用器问题引入 文章引入 如果你对BIO、NIO、多路复用器有些许疑惑, 那么这篇文章就是肯定需要看的, 本文将主要从概念, 代码实现、发展历程的角度去突…
阅读更多...
cocosCreator 之 微信小游戏打包

cocosCreator 之 微信小游戏打包

版本： v3.8.0 环境： Mac 介绍 cocosCreator 支持将游戏发布到多个小游戏平台，并提供了打包等流程处理。 本篇文章主要讲述下微信小游戏的发布流程相关。更多内容参考官方文档： 发布到小游戏平台 微信小游戏的发布相关&#xff…
阅读更多...
vue3 DOM元素渲染完成之后执行

vue3 DOM元素渲染完成之后执行

在Vue 3中，可以使用nextTick函数来在DOM元素渲染完成之后执行代码。nextTick函数会在下次DOM更新循环结束之后执行提供的回调函数。 例如，在Vue 3的组件中，可以这样使用nextTick函数： import { nextTick } from vue;export defa…
阅读更多...
多线程与高并发——并发编程（3）

多线程与高并发——并发编程（3）

文章目录 三、锁1 锁的分类1.1 可重入锁、不可重入锁1.2 乐观锁、悲观锁1.3 公平锁、非公平锁1.4 互斥锁、共享锁2 深入synchronized2.1 类锁、对象锁2.2 synchronized的优化2.3 synchronized实现原理2.4 synchronized的锁升级2.5 重量级锁底层 ObjectMonitor3 深入ReentrantLo…
阅读更多...
并发编程的故事——并发之共享模型

并发编程的故事——并发之共享模型

并发之共享模型 文章目录 并发之共享模型一、多线程带来的共享问题二、解决方案三、方法中的synchronize四、变量的线程安全分析五、习题六、Monitor七、synchronize优化八、wait和notify九、sleep和wait十、park和unpark十一、重新理解线程状态十二、多把锁十三、ReentrantLoc…
阅读更多...
CocosCreator3.8研究笔记（二）windows环境 VS Code 编辑器的配置

CocosCreator3.8研究笔记（二）windows环境 VS Code 编辑器的配置

一、设置文件显示和搜索过滤步骤 为了提高搜索效率以及文件列表中隐藏不需要显示的文件， VS Code 需要设置排除目录用于过滤。 比如 cocoscreator 中，编辑器运行时会自动生成一些目录：build、temp、library， 所以应该在搜索中排除…
阅读更多...
云计算的三个主要服务模型：IaaS、PaaS 和 SaaS

云计算的三个主要服务模型：IaaS、PaaS 和 SaaS

文章目录 介绍基础设施即服务（Infrastructure as a Service，IaaS）平台即服务（Platform as a Service，PaaS）软件即服务（Software as a Service，SaaS） 区别基础设施即服务&…
阅读更多...
C++面试题（吴）-计算机网络部分（2）和常见设计模式

C++面试题（吴）-计算机网络部分（2）和常见设计模式

目录 1.网络部分 3.32 说说浏览器从输入 URL 到展现页面的全过程 3.33 简述 HTTP 和 HTTPS 的区别？ 3.34 说说 HTTP 中的 referer 头的作用 3.35 说说 HTTP 的方法有哪些 3.36 简述 HTTP 1.0，1.1，2.0 的主要区别 3.37 说说 HTTP 常见的…
阅读更多...
最新文章

Copyright @ 2022~2023