压测背景
满足V23小程序大定场景下的性能
批量造10万的token数据进行压测
性能测试名词解释
术语 | 释义 |
VU | 并发用户数 |
RT | 响应时间 |
TPS | 吞吐量的一种,指每秒处理的事务数,每个事务可以是一个接口或者多个接口 |
QPS | 吞吐量的一种,指每秒服务器处理的请求数量(就是服务器的接口) 可以理解为就是一个接口 |
环境资源
压测工具:PTS
服务名:uat-chery-icar-sale-biz 资源: cpu: 8核 内存:30G 节点数:5
服务名:chery-icar-promotion-auth 资源: cpu:8核 内存:30G 节点数:5
小订-wecat-MySQL
版本:8.0.28 cpu:16核 内存:32G 节点数:1
Redis
版本:5.0 内存:32G
消息队列
rocketmq-1015897114
版本:5.X
压测场景结果
大定下单
压测轮次 | 场景 | 接口 | 服务名 | VU | PTS | RT(ms) | 情况说明 | 压测报告 | 附件 |
1 | 大定下单 | 大定下单(/minapp/sale/order/create) | uat-chery-icar-sale-biz | 高并发下产生大量500报错(订单号重复) | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/BR2TQ69A | ||||
2 | 大定下单 | 大定下单(/minapp/sale/order/create) | uat-chery-icar-sale-biz | 60 | 110 | 839 | 目前有0.4%的500的报错 | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/0WBYQ63A | redis连接数22640 |
3 | 160 | 876 | 834 | 目前的瓶颈在rocketmq | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/TFE6Q6FA | ||||
4 | 大定下单 | 大定下单(/minapp/sale/order/create) | uat-chery-icar-sale-biz | 150 | 550 | 753 | 节点数降到了5个,之前节点数是10个。 | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/F4SBQ6RA |
大定查询
压测轮次 | 场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
1 | 查询大定 | 查询大定(/minapp/sale/order/list) | uat-chery-icar-sale-biz | 20 | 400 | 822 | 数据库内存占用过高。大量的空查询映射到mysql上面导致mysql数据量飙升。缓存被穿透 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/P93PQ65A | |
2 | 查询大定(性能问题解决后多轮负压结果) | 查询大定(/minapp/sale/order/list) | uat-chery-icar-sale-biz | 250 | 3900 | 897 | 经过优化后以及多轮负压后目前大定查询接口瓶颈 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/N58HQ60A | |
300 | 2000 | 839 | 发生大对象的GC导致的 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/LGEKQ69A | |||||
300 | 7000 | 341 | 瓶颈受网络带宽的影响 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/ENG4Q69A |
小定查询
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
查询小定 | 查询小定(/minapp/presale/order/getCarOrderPage) | uat-chery-icar-sale-biz | 20 | 126 | 162 | https://ptsnext.console.aliyun.com/#/jmeter/report/3TQUZ3V/9768Q6NA | ||
100 | 270 | 951 | 瓶颈发生大对象的Full GC导致的 | https://ptsnext.console.aliyun.com/#/jmeter/report/3TQUZ3V/ELEQQ67A |
登录注册
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
登录注册 | 登录注册(/promotion/auth/loginTest) | 250 | 4800 | 172 | 通过openid直接调用我们这边的接口 | https://ptsnext.console.aliyun.com/#/jmeter/report/FARV4XV/108MQ68A | ||
800 | 9898 | 577 | https://ptsnext.console.aliyun.com/#/jmeter/report/FARV4XV/65FEQ6IA | |||||
2000 | 4100 | 939 | 存在Full GC的问题 | https://ptsnext.console.aliyun.com/#/jmeter/report/FARV4XV/D5REQ6QA |
微信授权手机号
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
微信授权手机号 | /promotion/pressureTest/testUpdateMobile | chery-icar-promotion-auth | 3000 | 15600 | 571 | https://ptsnext.console.aliyun.com/#/jmeter/report/NCSWV7V/6NPYQ61A |
改变用户手机号
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
改变用户手机号 | /promotion/user/changeMobile | chery-icar-promotion-auth | 0 | 0 | 0 | 发生大量的GC导致整个TPS上去后又下到几乎为零 | https://ptsnext.console.aliyun.com/#/jmeter/report/41TXICV/WYQDQ61A |
获取用户安全等级
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
获取用户安全等级 | 获取用户安全等级(/validate/security/level) | chery-icar-validate | 100 | 330 | 978 | 瓶颈在附件圈红框的调用第三方接口的地方 | https://ptsnext.console.aliyun.com/#/jmeter/report/B1SWAJV/4MGIQ6YA |
混合场景
查大定,查小定---大定下单
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
混合场景 | 查大定,查小定,大定下单 | 30 | 55 | 990 | https://ptsnext.console.aliyun.com/#/jmeter/report/4URVQ5V/P0B5Q6WA | |||
https://ptsnext.console.aliyun.com/#/jmeter/report/4URVQ5V/XIEXQ6MA |
大定下单---支付回调---锁单
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
大定下单---支付回调---锁单 | uat-chery-icar-sale-biz | 90 | 440 | 818 | 消息队列存在瓶颈导致下单和锁单存在报错 | https://ptsnext.console.aliyun.com/#/jmeter/report/TQTX0QV/2EN2Q6NA |
全链路压测
场景 | 接口 | 服务名 | VU | TPS | RT(ms)(99%) | 情况说明 | 压测报告 | 附件 |
全链路(查询大定小定,大定下单,支付回调,) | chery-icar-promotion-auth uat-chery-icar-sale-biz | 150 | 760 | 847 | 消息队列存在瓶颈 | https://ptsnext.console.aliyun.com/#/jmeter/report/FFTX32V/ZNN3Q6UA | ||
全链路(查询大定小定,大定下单,支付回调,锁单) | chery-icar-promotion-auth uat-chery-icar-sale-biz | 150 | 800 | 856 | biz的服务cpu占用80%存在瓶颈 | https://ptsnext.console.aliyun.com/#/jmeter/report/FFTX32V/GRQYQ6EA |
问题跟踪及解决措施
编号 | 问题接口 | 问题描述 | 解决结果 | 解决措施 |
1 | 大定下单(/minapp/sale/order/create) | 高并发下产生大量500报错(产生订单号重复导致) | 已解决 | 订单号进行调整由随机的4位变为随机的8位。 优化雪花算法的使用方式。 |
2 | 大定下单(/minapp/sale/order/create) | 订单号生成规则调整后又产生了新的500报错问题 | 已解决 | 调整了分库分表规则 |
3 | 大定下单(/minapp/sale/order/create) | 产生了新的500报错 | 已解决 | 更换大定订单生成策略 |
4 | 查询大定(/minapp/sale/order/list) | 缓存被击穿 | 已解决 | 加了一个类布隆过滤器 |
5 | 查询大定(/minapp/sale/order/list) | 发生大对象的Full GC | 已解决 | 本地缓存造成的删除掉本地缓存caffeine |
6 | 大定下单(/minapp/sale/order/create) | rocketmq达到500TPS瓶颈导致大定下单并发上不去 | 已解决 | 调整消息队列的TPS |
7 | 大定下单(/minapp/sale/order/create) | 大定下单并发量由于数据库原因上不去,数据库达到瓶颈 | 已解决 | 对数据库进行分库分表提高并发量根据用户的userId对5取余,让用户数据落到不同数据库 |
8 | 查询小定(/minapp/presale/order/getCarOrderPage) | 并发量低 | 已解决 | 将小定数据提前预热将数据刷入缓存统一走缓存 |
9 | 数据配置 | 走本地cdn | ||
10 | 改变用户手机号 | 发生young gc次数比较多 影响并发量 | 增加数据库连接数 |