干货分享,大厂内部压测方案设计!

01、为什么要做压测

1、什么是压力测试?

不断向被测对象施加压力,测试系统在压力情况下的表现。

2、压力测试的目的是什么?

测试得出系统的极限性能指标,从而给出合理的承诺值或者容量告警;

找出系统的性能瓶颈,对性能做出优化;

测试系统在高负载情况下的稳定性;

验证系统在过载情况下的限流和降级预案;

3、不做压测会产生什么问题?

线上容量评估不准确,流量增加,服务被打挂

升级前没做压测,升级后性能出现劣化,可用性降低;

无法给出准确的承诺值,导致集群水位过低,资源被浪费或者集群水位过高,系统存在稳定性bug;

02、压测方案设计

压测环境可以简单的分为模块级压测和链路级压测,它们的主要特点和区别如下:

1、模块级压测

应用场景:比较变更前后的性能,看性能是否有劣化;定位模块本身的性能瓶颈。

环境要求:不要求与线上环境完全一致,只需要保证变更前后两次的压测在同一个环境即可。

业界方案:维护一套固定的线下环境,进行周期性、常态的压测。

2、链路级压测

应用场景:做整条链路的容量评估;评估系统整体可用性。

环境要求:要求尽量与线上环境保持一致,这样的压测数据才是有借鉴意义的。

业界方案:使用线上环境,根据不同的隔离方式使用不同的方案:

  • 不做流量隔离,压测流量和业务流量共存,由于没有做隔离,只能在低峰期压测
  • 逻辑隔离,通过流量调度或者分流方式,将压测流量打到一个压测环境去。压测流量和业务流量在同一个机房跑,但并不会打到同一个业务实例。
  • 物理隔离,利用异地多活的特性,将业务流量从一个机房切出,留下一个空机房做压测。
第一种方案是最接近线上真实环境的,但是 存在着一些安全风险;后两种方案安全性高很多,但是没有完全利用整个线上架构, 存在一定程度上的失真

3、线上压测怎么保证安全性?

  • 流量隔离,如上述方法做流量隔离。但是只做流量隔离是不够的,即使是物理隔离,也会对线上数据进行修改,所以还要做数据隔离。
  • 压测流量经过中间件时进行打标,做压测标记,比如http流量可以配置一个特殊的header。
  • 在业务集群对流量标记进行数据隔离,比如对压测流量产生的日志写到另一个路径(有的系统会对日志做一些分析统计);存储/缓存方面将压测流量产生的数据存储到影子表,正常流量访问正常表;
  • 消息屏蔽,如果消息队列无法识别出压测消息,则会造成线上消息堆积,影响线上流量,所以需要对压测消息进行屏蔽。
  • 对不支持压测的第三方服务进行mock。

03、压测模型

压测要覆盖哪些场景?压测请求和数据如何构造?如何模拟业务流量形态?以上三个问题分别对应压测模型中的业务模型数据模型流量模型

1、业务模型

压测需要覆盖哪些业务场景?

需要梳理出核心业务场景,必须包含核心接口和大流量接口,大流量接口可能是一些不对用户暴露的,在内部频繁使用的接口。

如何模拟业务场景?

需要理清楚接口之间的关系。对待一些简单查询的接口,没有前后依赖关系,只需要关注流量配比就行了;对待一些复杂业务场景,则需要还原业务处理流程,理清楚接口串联逻辑。可以通过场景录制和场景回放来梳理。

2、数据模型

基于线上数据进行改造

请求部分可以直接把线上流量录制下来,对请求加压测标记,并对关键id做便宜;铺底数据可以直接将线上存储数据拷贝到另一个压测表。

基于模型构造

通过对线上日志和请求进行分析,梳理出对性能有影响的数据特征和请求特征,根据这些特征构造出数据,其中铺底数据需要通过真实的业务应用来构建。

基于线上数据改造的方式
方案很简单,数据构造快,但是强以来系统现有数据,,无法应对新增场景,模型调整不灵活,适用于老服务的线上压测;

基于模型构造
不强依赖线上数据,可以人工构造新增场景,维护成本低,只需要调接口就行了,不需要感知线上存储表的变化,模型可以灵活调整,但是方案比较复杂,数据构造慢,使用场景比较广泛,线上线下新老服务皆可。

压测模型的特例:流量录制,原样回放

特点:不用模拟业务场景、不需要构造数据;只能录制到线上已有流量的服务和接口;只能在线上环境回放,只能回放只读接口;只适用于老服务读接口的压测;

流量录制可以把低峰期、平峰期、高峰期的流量都录制下来,以免出现漏测的情况。

3、流量模型:模拟业务流量形态

  • 线上有流量
    观察线上流量形态。
    网上绝大部分开源的监控打点都是5s以上的,最理想的情况可以达到ms级别的,可以通过分析日志来进行实现。
  • 线上没有流量
    分析用户行为或者调用方行为。
    常见的业务流量形态可以分为两种,一种是连续递增型,还有一种是脉冲型(比如抢红包)

4、流量预估

流量形态是模拟线上流量曲线,此外我们还需要进行流量预估,计算出压测的量级。

已双十一活动为例,我们可以把接口分为三类:

  • 背景接口
    流量不随活动而变化,压测是仅作为背景流量,取近期峰值即可;
  • 普通关注接口
    流量随活动而变化,用通用模型计算
  • 重宝接口
    比如交易接口,取历史大促的峰值

04、压测结果分析

1、观测指标

系统指标

  • qps/tps,最大tps一定是稳定的,如果存在抖动,那系统已经存在问题。
  • 响应时间,从客户端发起请求到收到请求的全过程时间
  • 错误率,根据sla来定
  • 资源指标
  • cpu利用率,一般要低于80%,avg低于60%比较保险
  • 内存使用率,低于80%比较保险,否则可能陷入GC死亡循环
  • 磁盘吞吐/网络吞吐
  • 特性指标,根据具体业务来定
  • 连接池使用率
  • 消息队列堆积
  • pps

2、仿真度分析:压测结果是否有价值?

比较同等水位下压测场景和线上真实场景服务表现相似度,可进行仿真度分析的指标:

  • 流量,流量比例,接口覆盖
  • 链路覆盖
  • 机器资源,cpu利用率、内存利用率
  • 可用性指标,时延,错误率
  • 业务指标

把这些指标组装成一个向量,和线上指标做比较,二者差异,差异越小,仿真度就越高。

05、压测发展趋势

现有痛点:

  • 需要随时观察监控,需要oncall待命
  • 安全性不足
  • 方案复杂,代价大

未来发展趋势:

  • 智能化
  • 无人值守

最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:

这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/112448.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【数据结构】树形结构所有路径复原为链表

目录 1. 树形结构可视化 2. 树形结构转为链表 此目标是要还原树形结构的所有路径。树形结构是一种常见的数据结构,它表示元素之间层次关系。在树形结构中,每个节点可能拥有一个或多个子节点,形成了一个分层的结构。为了还原树形结构的路径&…

区块链-蚂蚁链(阿里系产品),至信链(腾讯系),长安链(国家队)

目录 区块链-蚂蚁链(阿里系产品),至信链(腾讯系),长安链(国家队) ①蚂蚁链(阿里系产品) ②至信链(腾讯系) ③长安链(国家队) Hyp…

【Spring Boot 源码学习】RedisAutoConfiguration 详解

Spring Boot 源码学习系列 RedisAutoConfiguration 详解 引言往期内容主要内容1. Spring Data Redis2. RedisAutoConfiguration2.1 加载自动配置组件2.2 过滤自动配置组件2.2.1 涉及注解2.2.2 redisTemplate 方法2.2.3 stringRedisTemplate 方法 总结 引言 上篇博文&#xff0…

第一章 02Java入门-常环境变量的意义

前言 上次我们学习了常见的CMD命令,这次我们做一个用它做一个练习打开QQ(CMD方式打开),最后引出环境变量的意义。 一、CMD打开qq 可以看到,如果直接在CMD里面打开QQ,是不可以的,因为QQ的路径不在默认路径C盘,而在D盘下面的develop文件夹下面的qq下面的qq.exe下(自己…

有色金属冶炼VR虚拟场景互动教学有何优势

真实模拟:VR虚拟现实技术可以提供一个真实的虚拟环境,模拟钢铁制造现场,包括设备、工艺流程、操作规程等,使学员获得直观、真实的体验。 安全可靠:钢铁制造技能培训可以在虚拟环境中进行,不会对人员或设备造…

爆肝将近 10 万字讲解 Node.Js 详细教程

1. Node.Js 环境概述 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境,用于在服务器端运行 JavaScript。它使用了一个事件驱动、非阻塞式I/O的模型,使得其轻量且高效。Node.js 的包管理器 npm 是全球最大的开源库生态系统。Node.js 能够响应大…

Windows安装tensorflow-gpu=1.14.0CUDA=10.0cuDNN=7.4 (多版本CUDA共存)

文章目录 0. 前置说明1. 查看版本对应关系2. 安装 cuda3. 安装 cudnn4. 添加环境变量5. 安装 tensorflow 0. 前置说明 本机(Windows 11)已安装CUDA 11.7 使用命令查看显卡驱动: nvidia-smi这里显示的CUDA Version: 11.7说明支持安装11.7版本…

python hashlib模块及实例

hashlib 模块密码加密密码撞库密码加盐 一,hashlib模块 hashlib模块是用来为字符串进行加密的模块,通过该作用就可以为用户的密码进行加密。 通过模块中的hash算法可以为任意长度的字符串加密成长度相同的一串hash值。该hash算法得到的hash值有一下几个…

汽车配件商城小程序制作 | 汽车配件售卖,高门槛但高利润

通过汽车配件商城小程序给别人的供货,利润可高达60%,但甚少有人关注汽车配件销售的行业。具体情况是怎么样的呢,下面给大家简单分析。 据数据显示,国内有4亿多辆汽车,这些汽车坏了要修,也要偶尔进行保养&am…

python实现MC协议(SLMP 3E帧)的TCP服务端(篇一)

python实现MC协议(SLMP 3E帧)的TCP服务端是一件稍微麻烦点的事情。它不像modbusTCP那样,可以使用现成的pymodbus模块去实现。但是,我们可以根据协议帧进行组包,自己去实现帧的格式,而这一切可以基于socket模…

清华大模型GLM

2022年,清华大学发布了一款具有重要意义的 GLM 大模型,它不仅在中文语言处理方面取得了显著的进展,还在英文语言处理方面表现出了强大的能力。GLM大模型区别于OpenAI GPT在线大模型只能通过API方式获取在线支持的窘境,GLM大模型属于开源大模型,可以本地部署进行行业微调、…

金Gien乐道 | 10月热点回顾

收获之秋,中电金信Q4开篇捷报不断 Q4开篇,中电金信迎来多个捷报。公司与青岛财通集团联合打造的核心业务系统(一体化业务平台)一期项目顺利投产上线并平稳运行;中标华南某全国性股份制商业银行新一代云原生分布式核心系…

B-5:网络安全事件响应

B-5:网络安全事件响应 任务环境说明: 服务器场景:Server2216(开放链接) 用户名:root密码:123456 1.黑客通过网络攻入本地服务器,通过特殊手段在系统中建立了多个异常进程,找出启动异常进程的脚本,并将其绝对路径作为Flag值提交; 通过nmap扫描我们发现开启了22端口,…

mfc140u.dll丢失怎么修复,mfc140u.dll文件有什么作用

今天我想和大家分享的是关于mfc140u.dll文件丢失的解决方法。在我们使用电脑的过程中,有时候会遇到一些错误提示,其中比较常见的就是“无法找到mfc140u.dll文件”。那么,这个文件是什么呢?它有什么作用呢? 首先&#…

springboot读取application.properties中文乱码问题

目录 1 前言: 2 本地环境中的解决方案(以idea为例) 3 全部解决方案 1 前言: 初用properties,读取java properties文件的时候如果value是中文,会出现乱码的问题。我们首先需要明了乱码问题的根源。在 Java 中&#x…

HNU-计算机网络-实验1-应用协议与数据包分析实验(Wireshark)

计算机网络 课程基础实验一 应用协议与数据包分析实验(Wireshark) 计科210X 甘晴void 202108010XXX 一、实验目的: 通过本实验,熟练掌握Wireshark的操作和使用,学习对HTTP协议进行分析。 二、实验内容 2.1 HTTP 协议简介 HTTP 是超文本…

WPF RelativeSource属性-目标对象类型易错

上一篇转载了RelativeSource的三种用法,其中第二种用法较常见,这里记录一下项目中曾经发生错误的地方,以防自己哪天忘记了,又犯了同样错误—WPF RelativeSource属性-CSDN博客 先回顾一下: 控件关联其父级容器的属性—…

Window下coturn服务器的搭建

Window下搭建coturn服务器: 准备材料: 1、安装Cygwin,地址:https://cygwin.com/install.html 由于Window无法直接部署coturn,因此需要下载安装Cygwin在Window上部署Linux虚拟环境。 在安装的时候需要安装几下packe…

当贝PadGO闺蜜机?多的是你不知道的玩法

一、当贝PadGO性能强在哪? 1、金属机身 当贝PadGO独有CD型底盘更有设计风格、后扶手设计更稳,且采用全金属的材质更有质感。并且在配色上还有熊猫白和唱片黑两种可以选择。屏幕采用AG磨砂类纸屏,自带纸张柔和效果,防眩光。并且拥有德国莱茵低蓝光、无频闪双重护眼认证,还可以…

【C语法学习】3 - fgetc()函数

文章目录 1 函数原型2 参数3 返回值4 比较5 示例5.1 示例15.2 示例2 1 函数原型 fgetc():从指定流stream中读取一个字符,函数原型如下: int fgetc(FILE *stream)2 参数 fgetc()函数只有一个参数stream: 参数stream是一个指向F…