作为一名开发工程师,当我们接到需求的时候,一般就是分析需要,确定思路,编码,自测,然后就可以让测试人员去测试了。在自测这一步,作为开发人员,很多时候就是测一下业务流程是否正确,会不会有逻辑上的错误,如果没有,几乎就完事了。然后到了测试人员去测的时候,很多时候测试人员也只是重复了一遍开发人员的步骤,更多就是把测试用例扩大了而已,特别是一些边界的用例。但是我们的接口在每秒10次请求没问题不代表在每秒1000次请求没问题,当接口部署到线上,当并发量增大的时候,很多在测试阶段没出现的问题在线上就有可能出现了。
有的公司团队比较大,可以请到好的测试人员来做各种测试,但是对于小团队,测试人员可能也不知道每次10次请求和每秒10000次请求的区别,这时作为开发人员的我们,在保证业务逻辑正确的情况下,还要去做压力测试。
本篇介绍一个功能强大压力测试工具——JMeter。
JMeter是Apache下的一个顶级项目,看看官方对它的介绍:
The Apache JMeter™ application is open source software, a 100% pure Java application designed to load test functional behavior and measure performance. It was originally designed for testing Web Applications but has since expanded to other test functions.
大概意思就是说JMeter是一个纯java写的开源软件,用来测试可变行为和性能。起初它设计的目的是测试Web应用,但是现在已经扩展到其它的测试。
JMeter可以支持测试的应用/服务/协议有很多:Web (HTTP, HTTPS )、SOAP / REST Webservices、FTP、Database via JDBC、LDAP、Message-oriented middleware (MOM) via JMS、Mail - SMTP(S), POP3(S) and IMAP(S)、Native commands or shell scripts、TCP、Java Objects。反正就是一些服务端常用的东西都能测试就是了。
本篇介绍HTTP的压测。
一、下载
可以自行到官网找到下载链接或者使用下面的链接进行下载:
http://mirror.bit.edu.cn/apache//jmeter/binaries/apache-jmeter-5.2.1.zip
下载后直接解压,目录结构如下:
-
bin:可执行脚本文件
-
docs:JMeter提供的api的文档
-
extras:额外的文件
-
lib:JMeter本身所依赖的jar包
-
licenses:JMeter依赖的jar包的license
-
printable_docs:JMeter的介绍和使用手册
JMeter既提供了GUI界面方便用户使用也提供了命令行的方式让用户操作,我们先在windows下使用JMeter。
二、准备工作
2.1、运行环境
JMeter5需要至少JDK8,如果你的机器还没有安装JDK,请先安装
2.2、创建接口
这里我们使用springboot来快速构建一个接口,主要代码如下:
@GetMapping(value = "/test")
public String performanceTest(@RequestParam(value="name", defaultValue="") String name) {
log.info("进入测试,参数name的值为:{}", name);
if (StringUtils.isEmpty(name)) {
return "name cannot be null";
} else {
return RandomUtil.generateRandomString(16);
}
}
其中generateRandomString是一个生成指定长度随机字符的方法。
在application.properties中简单地指定一下log文件:
logging.file=spring.log
然后打包部署到linux下,启动命令如下:
java -jar stress-testing-0.0.1-SNAPSHOT.jar
然后用curl命令分别访问有参数和无参数的接口,也可以在浏览器访问
三、使用JMeter测试HTTP
3.1、创建测试计划
我们双击打开bin/jmeter.bat,等待JMeter的GUI程序启动,成功后如下。初次启动默认语言是英语,你可以在菜单栏的Options->Choose Language->Chinese(Simplified)切换成简体中文
右键点击TestPlan->添加->线程(用户)->线程组,完成后选择Thread Group,在这个线程组上点击右键,添加->取样器->HTTP请求;再选择HTTP请求,在这个HTTP请求上点击右键,添加->监听器->察看结果树;再次选择HTTP请求,在这个HTTP请求上点击右键,添加->监听器->聚合报告。完成后如图所示
下面来解释一下这些概念:
- TestPlan:测试计划,相当于一个工程,需要测试什么,怎么测就是定义在一个测试计划中
- Thread Group:线程组,相当于模拟的请求数。一个线程相当于一个用户请求
- 察看结果树:监听发送请求时各个请求的状态
- 聚合报告:把一次测试的数据汇总
3.2、配置参数
- 测试计划
选择左侧的Test Plan,右侧的名称就是测试计划的名字,注释就相当于代码中的注释,没什么好说的。下面有个独立运行每个线程组,在一个测试计划中可以创建多个线程组(目前我们只有一个),比如我们不同的接口的并发量是不一样的,这时可以根据需要创建多个线程组,分开测试。好了我们先默认不作修改。
- Thread Group
选择左侧的Thread Group,线程组也有名称和注释,比如我们可以填写一些并发级别之类的信息,反正就是给人看的。下面的线程属性就是核心配置了,前面也提到,一个线程相当于一个用户请求。比如线程数填10,Ramp-up时间填5,循环次数填1,就表示在5秒内发送10次请求,执行一次。
- HTTP请求
选择左侧的HTTP请求,这里我们关注Web服务器和HTTP请求这两个属性。协议就是请求的协议,默认是http,ip填服务器地址,也可以填域名,端口号是8080;因为刚才写的test接口只支持GET请求,方法选择GET,路径为url的请求路径,GET请求的参数可以直接带在路径上,也可以写到下面的参数那里,通过点击“添加”按钮来添加请求参数。
另外值得注意的是,左侧的节点很多时候是可以重复的,但是作用域不相同。比如当前察看结果树和聚合报告都是在HTTP请求下创建的,那么这个察看结果树和聚合报告监听的就是这个HTTP的结果。一个线程组下可以有多个HTTP请求,比如我们有一个H5页面要测试,打开这个页面可能会同时请求多个接口,在这种情况下就需要创建多个HTTP请求了。当察看结果树和聚合报告创建在Thread Group下,那么就是监听这个线程组下所有HTTP请求的结果。
3.3、测试
点击界面工具栏的绿色三角按钮开始压测,这时可以看到spring.log文件会不断输出信息
等待压测结束后,我们可以选择左侧的察看结果树,就可以看到本轮测试的请求情况
选择其中的请求可以在右边看到这个请求的详细信息,包括时间,请求数据长度,请求地址等等。
选择聚合报告可以看到本轮测试的数据报告
解释一下这份报告:
- 样本:请求的次数,计算公式是线程数*循环次数,如果线程组配置勾选了永远,那么就是你停止测试时实际发送的请求数
- 平均值:响应时间的平均用时,单位是毫秒。比如这里的平均响应时间是38毫秒
- 中位数:响应时间的中位数,单位是毫秒。
- 90%百分位:90%的响应时间小于该数值,单位是毫秒。这里有90%的响应时间小于22毫秒
- 95%百分位:含义和90%类似
- 99%百分位:含义和90%类似
- 最小值:本轮测试最小响应时间,单位是毫秒。
- 最大值:本轮测试最大响应时间,单位是毫秒。
- 异常%:本轮测试出现异常的请求比例。
- 吞吐量:可以理解为QPS,即是我们测试的接口处理请求的能力。比如这里是平均每秒可以处理2.2次请求
- 接收KB/Sec:响应数据的接收速率
- 发送KB/Sec:请求数据的发送速率
到此为止,你是不是觉得刚才我们写的接口很完美,服务也运行得毫无破绽?好了,我们选择界面左侧的Thread Group(线程组),然后把线程数改为5000,其它不变,模拟在5秒内有5000个用户来访问我们的接口。然后先点击界面上方的一个齿轮加两把扫帚的按钮来把结果树和聚合报告清除,然后再点击绿色的启动按钮,测试结果如下
你会发现当并发增大时,会有一部分请求出现了异常。再切换到聚合报告上,你会发现原来平均响应时间只有30多毫秒直接飙到5秒多了,异常率也出现了。这时就需要我们根据一些错误信息去做一些调优了,可能是系统级别的,也可以是jvm级别的,又或者是代码本身的问题。这不是本篇所要讲的,这里就不说了。
四、在JMeter中使用变量
在上面例子中在我们在填写HTTP配置的时候,IP直接写了IP地址,但是有一个问题,假如我们的接口在不同的机器上部署了节点,我们在对不同机器上的接口进行测试,总不能每测完一个就改一个吧,假如要测试一个服务上的30个接口,不是改到手酸了?JMeter给我们提供了变量,我们可以在HTTP请求中使用变量。
我们右键点击Thread Group,添加->配置元件->用户定义的变量,也可以在测试计划或者HTTP请求下创建,这样作用域就是整个测试计划或者HTTP请求。然后选择用户定义的变量,并在右边点击添加按钮,添加host和port两个变量:
在JMeter中使用变量是通过${}来引用的,比如要引用host变量,就是${host},然后我们选择HTTP请求,把IP地址和端口改为引用变量的形式
然后我们重新点击启动按钮测试,打开察看结果树可以看到请求还是发送到变量中定义的地址。
这样,就算我们有30个HTTP请求,我们也可以只修改用户定义的变量中的变量值就可以了。
为了方便后面的测试我们先把线程数改为500,然后选择左侧的Test Plan,然后点击 文件->保存测试计划为,然后选择存放目录,可以得到一个jmx格式的文件,后面会用到这个文件。
五、JMeter的命令行使用
在开始通过bin/jmeter.bat启动JMeter时,会在控制台输出如下的信息:
从这段提示我们至少可以知道两个信息:
- 不要用GUI的模式进行测试,而应该用CLI模式(其实是使用命令行)
- 运行参数可以改变
先说第2点,因为JMeter是用纯Java写的,是运行在JVM上的,所以它的运行会受到JVM参数的控制,默认的堆大小是1G(初始值Xms和最大值Xmx都是1G),最大的Metaspace为256M(JDK8没有永久代的概念了,用Metaspace代替)。在bin/jmeter.bat中有一行(第150行)是用来设置JVM参数的:
set HEAP=-Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m
比如我们可以把这三个参数都增大1倍,然后再启动一下,发现JVM参数已经变了
但是官方不建议我们直接去修改启动脚本,而是建议我们在bin目录下创建一个名为setenv.bat然后在其中设置运行参数(如果配置过tomcat的jvm参数就会很熟悉这种做法了),我们把jmeter.bat文件的HEAP参数改为原来的值,然后在bin目录下创建一个setenv.bat文件,并且写入以下内容:
set HEAP=-Xms2g -Xmx2g -XX:MaxMetaspaceSize=512m
重启JMeter,再次查看其JVM参数如下
以上就是JMeter的运行参数设置,说这么多的目的其实和第1点有关。我们的服务器基本都是Linux系统,而我们的服务器应该不会安装GUI操作界面,因为这对于用来运行服务来说不但没用,还会吃掉很多cpu和内存资源,可能还会让服务器不稳定。这也是JMeter建议我们不要用GUI的方式去测试的原因。既然这样,为什么JMeter又要提供GUI界面呢,看回JMeter的启动控制台,有这样一行信息:
jmeter -n -t [jmx file] -l [results file] -e -o [Path to web report folder]
这里我们关注一个参数是-t,后面接jmx文件,这个文件就是上面保存的jmx文件,它保存了JMeter压测时需要的线程组、HTTP请求等配置参数。打开可以看到其实是一个xml格式的文件,里面有各种各样的参数,如果没有GUI界面,让用户去手写这么一个配置文件,那就很麻烦了。
说了这么多我们正式介绍一下jmeter命令的参数,jmeter的完整参数可以通过jmeter -?
查看,这里只介绍几个常用的参数:
-n:非GUI模式,其实就是命令行的模式
-t:后跟测试文件(jmx文件)
-l:后跟log文件,把测试的过程输出到日志文件中
-e:测试结束后生成报告
-o:测试报告存放目录,必须是空目录
下面使用命令行测试:
完成后会在指定的目录生成html格式的测试报告,其中有个index.html,我们打开它,就可以看到很漂亮的图形化的报告了,可以拿去给你们老板看了。
六、分布式测试
上面所介绍的是在一台机器上的操作,那么就会有这么一个问题:当你设置线程数为10时,在一台4核心cpu的机器上执行,这台机器模拟出10个线程当然没问题,但是假如你把线程数提升到10000,表面上这台机器也在努力地给你模拟10000个线程,但是它的核心数也只有区区4个,在底层其实还是操作系统在不断切换线程来模拟这10000个线程,线程切换需要时间,发送请求也需要时间,这样做的话除了让测试机的cpu使用率飙升到100%之外,还可以让你得到一份不准确甚至错误的数据,因为你的机器其实是没办法在5秒来把这10000个请求发送完毕的。这个时候我们就需要用多台机器去同时给接口机发送请求,这就是分布式测试。
说一下大致的原理,我们准备多台机器,其中一台作为master机器,其余的作为slave机器,master机器用来发送指令,slave机器去执行,原理图如下:
这些机器的要求如下:
-
关闭防火墙或者打开响应的端口
-
在同一个子网
-
JMeter可以访问测试的接口
-
JMeter的版本一致,JDK的版本也一致,否则可能出错
-
必须为RMI设置SSL或者关闭它
满足了以上的条件,先执行各个slave里bin目录下的jmeter-server,然后开发master机器上的JMeter的bin/jmeter.properties文件,找到remote_hosts=127.0.0.1那行,并且改为slave内网地址,地址之间用英文逗号分隔,然后打开master机器上的JMeter,像单机那样测试就可以了。
我没有那么多机器,这里就不演示了。