pytest测试框架pytest-rerunfailures插件重试失败用例

Pytest提供了丰富的插件来扩展其功能,介绍下插件pytest-rerunfailures ,用于在测试用例失败时自动重新运行这些测试用例。

pytest-rerunfailures官方显示的python和pytest版本限制:

  • Python 3.8+
  • pytest 7.2 或更新版本

此插件可以通过以下可选先决条件从硬崩溃中恢复:

pytest-xdist 2.3.0 或更新版本

目前最新版本是14.0,支持了pytest 8.0, 8.1版本,但是不支持最新的pytest 8.2版本,所以大家使用时要注意版本的配套,可以去官方网站(
https://pypi.org/project/pytest-rerunfailures/)上查看。(我自己在调试的时候下载的都是最新的版本,结果运行时一直不成功,将pytest8.2.2卸载然后安装8.1.2版本就成功了。)

pytest-rerunfailures安装

使用pip命令安装: pip install pytest-rerunfailures (安装在pytest工程所运行的python环境,python的安装目录或者虚拟环境目录,可以参考之前文章查看运行环境pycharm配置pytest运行环境)

通过pycharm安装:打开设置,按照如下图中安装插件(windows系统)

pytest-rerunfailures运行

重新运行所有失败用例并指定重试次数

使用--reruns命令行选项并指定希望测试用例运行的最大次数,比如命令pytest --reruns 5或者pytest --reruns=5,同时执行过程中失败的fixture函数或者setup_class也将被重新执行。

举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,并使用pytest-html生成测试报告。

执行参数类似如下:pytest.exe -v --reruns 3 --html=report/report.html test_case.py

执行结果如下:5条用例执行耗时4.32s

执行后测试报告如下:显示第5条测试用例重新执行了3次

重新运行所有失败用例并指定延迟时间

使用--reruns-delay命令行选项,表示在启动下一次测试重新运行之前想要等待的秒数。比如pytest --reruns 5 --reruns-delay 1

举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,每次延迟1秒,并使用pytest-html生成测试报告。

执行参数类似如下:pytest.exe -v --reruns 3 --reruns-delay 1 --html=report/report.html test_case.py

执行后预期耗时比上面的4.32s再增加3s。

实际执行后结果:确实是显示耗时7.32s,证明每次重试时都延迟了1s执行。

重新运行所有与特定表达式匹配的失败项

使用--only-rerun命令行选项表示仅重新运行与特定表达式列表匹配的失败,例如,仅重新运行与AssertionError匹配的错误:

$ pytest --reruns 5 --only-rerun AssertionError

多次传递标志会累积参数,比如以下操作只会重新运行与AssertionError或ValueError匹配的错误:

$ pytest --reruns 5 --only-rerun AssertionError --only-rerun ValueError

举例:设置5条用例,第3条用通过使用不存在的变量预期报NameError,第4条用例通过value = 1/0预期报ZeroDivisionError,第5条用例通过断言assert 1 != 1时用例预期报AssertionError

PS:第5条用例 通过assert 1 != 1会断言失败,但并不会返回AssertionError,所以重试时会捕捉不到,此时我们使用try...except语句,通过raise语句返回AssertionError。

我们重试3次,并使用pytest-html生成测试报告。

执行参数类似如下:pytest.exe -v --reruns 3 --only-rerun
AssertionError--only-rerun NameError --html=report/report.html test_case.py

执行后预期只重试第3条用例和第5条用例

实际执行后结果如预期一样。

重新运行除匹配某些表达式之外的所有失败

使用--rerun-except命令行选项仅重新运行与特定表达式列表不匹配的失败用例。例如,以下内容将仅重新运行除匹配AssertionError之外的错误:

$ pytest --reruns 5 --rerun-except AssertionError

多次传递标志会累积参数,例如下面的例子只会重新运行与AssertionError或OSError不匹配的错误:

$ pytest --reruns 5 --rerun-except AssertionError --rerun-except OSError

举例:还是使用上面定义的5条用例,我们重试3次,并使用pytest-html生成测试报告。

执行参数类似如下:pytest.exe -v --reruns 3 --rerun-except AssertionError --rerun-except NameError --html=report/report.html test_case.py

执行后预期只重试第4条用例,排除第3和第5条用例

实际执行后结果如预期一样。

使用@pytest.mark.flaky标记测试用例并在失败时重新运行

我们可以将单个测试标记为不稳定,并让它们在失败时自动重新运行,而且还可以标记重试次数和延迟时间,或者其他一些参数

以下是 @pytest.mark.flaky 的参数,以及它们的详细描述:

  • reruns:当测试失败时,重新运行测试的次数。默认为 0(不重新运行)
  • reruns_delay:在每次重新运行测试时的延迟时间(秒)。默认为 0(无延迟)
  • condition: 配合reruns参数,当满足该条件时失败用例才被执行。
  • only_rerun: 配合reruns参数,仅重新运行与特定表达式列表匹配的失败用例,可传入单个值或列表
  • rerun_except:配合reruns参数,仅重新运行与特定表达式列表不匹配的失败用例,可传入单个值或列表

PS:网络上有些文章提到其他参数max_runs、min_passes、min_successes、run_with_increasing_delay等是另一个插件Flaky 的功能。

举例 在测试用例1中标记重试3次,延迟1s

@pytest.mark.flaky(reruns=3, reruns_delay=1)
def test_1():
  try:
      assert 1 != 1
  except AssertionError:
      raise AssertionError
  print('\n用例test_1执行成功')
  time.sleep(1)

执行命令如下:pytest.exe -v --html=report/report.html test_case.py

测试报告如下: 显示用例1被重复执行3次

那如果我们在执行命令行中还加上--reruns 3参数,结果如何?

我们执行pytest.exe -v --reruns 3 --html=report/report.html test_case.py来检验下:

结果显示: 加了参数也不会再多执行3次,两者不会冲突,加了参数只会执行那些没有被标记的失败用例。

举例:在测试用例1中标记重试3次,满足操作系统是windows32时才执行

@pytest.mark.flaky(reruns=3, condition=sys.platform.startswith("win32"))
def test_1():
  try:
      assert 1 != 1
  except AssertionError:
      raise AssertionError
  print('\n用例test_1执行成功')
  time.sleep(1)

执行结果如下:因为我自己的电脑是win32,所以用例会被重复执行

举例:在测试用例1中标记重试3次,满足only_rerun=["AssertionError", "NameError"])错误时才执行。

@pytest.mark.flaky(reruns=3, only_rerun=["AssertionError", "NameError"])
def test_1():
  try:
      assert 1 != 1
  except AssertionError:
      raise AssertionError
  print('\n用例test_1执行成功')
  time.sleep(1)

执行结果如下:因为用你预期报错AssertionError,满足条件所以用例会被重复执行

共勉: 东汉·班固《汉书·枚乘传》:“泰山之管穿石,单极之绠断干。水非石之钻,索非木之锯,渐靡使之然也。”

-----指水滴不断地滴,可以滴穿石头;

-----比喻坚持不懈,集细微的力量也能成就难能的功劳。

----感谢读者的阅读和学习,谢谢大家。

---祝愿大家都能够龙腾虎跃,步步高升!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/735725.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

CentOS 7 内核 3.10 升级 6.5.2 (RPM 直装 + 源码编译)

方案一 直接基于 RPM 在线升级(简单,速度快) rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y # (选项一)升级最新版内…

【GD32】从零开始学兆易创新32位微处理器——RTC实时时钟+日历例程

1 简介 RTC实时时钟顾名思义作用和墙上挂的时钟差不多,都是用于记录时间和日历,同时也有闹钟的功能。从硬件实现上来说,其实它就是一个特殊的计时器,它内部有一个32位的寄存器用于计时。RTC在低功耗应用中可以说相当重要&#xf…

Linux操作系统段式存储管理、 段页式存储管理

1、段式存储管理 1.1分段 进程的地址空间:按照程序自身的逻辑关系划分为若干个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。内存分配规则:以段为单位进行分配…

Redis-事务-watch-unwatch

文章目录 1、监视key2、提交事务 1、监视key 打开两个窗口,第一个窗口先监视key,然后开始事务,然后再打开第二个窗口,修改balance为0 2、提交事务 此时事务被打断

分布式定时任务系列10:XXL-job源码分析之路由策略

传送门 分布式定时任务系列1:XXL-job安装 分布式定时任务系列2:XXL-job使用 分布式定时任务系列3:任务执行引擎设计 分布式定时任务系列4:任务执行引擎设计续 分布式定时任务系列5:XXL-job中blockingQueue的应用 …

【深度学习驱动流体力学】计算流体力学算例剖析与实现

目录 一.求解器分类汇总压缩性流动求解器(Compressible Flow Solvers):不可压缩流动求解器(Incompressible Flow Solvers):多相流动求解器(Multiphase Flow Solvers):热传递求解器(Heat Transfer Solvers):其他特殊求解器:其他常见求解器:求解器分类:二.求解器案…

黑马苍穹外卖6 清理redis缓存+Spring Cache+购物车的增删改查

缓存菜品 后端服务都去查询数据库,对数据库访问压力增大。 解决方式:使用redis来缓存菜品,用内存比磁盘性能更高。 key :dish_分类id String key “dish_” categoryId; RestController("userDishController") RequestMapping…

Android Studio 安卓手机上实现火柴人动画(Java源代码—Python)

android:layout_marginLeft“88dp” android:layout_marginTop“244dp” android:text“Python” android:textSize“25sp” app:layout_constraintStart_toStartOf“parent” app:layout_constraintTop_toTopOf“parent” /> </androidx.constraintlayout.widget.…

【尚庭公寓SpringBoot + Vue 项目实战】看房预约管理(十三)

【尚庭公寓SpringBoot Vue 项目实战】看房预约管理&#xff08;十三&#xff09; 文章目录 【尚庭公寓SpringBoot Vue 项目实战】看房预约管理&#xff08;十三&#xff09;1、业务说明2、代码开发2.1、根据条件分页查询预约信息2.2、根据ID更新预约状态 1、业务说明 看房预约…

Vue77-编程式路由

一、需求 不写<router-link>实行路由的跳转。 因为<router-link>的本质是<a>&#xff0c;但是&#xff0c;有时&#xff0c;导航不一定是a标签&#xff01;或者&#xff0c;有时需要等一段时间&#xff0c;页面才跳转。 二、代码实现 三、小结

macbook配置adb环境和用adb操作安卓手机

&#xff08;参考&#xff1a;ADB工具包的安装与使用_adb工具箱-CSDN博客&#xff09; 第一步&#xff1a;从Android开发者网站下载Android SDK&#xff08;软件开发工具包&#xff09;。下载地址为&#xff1a; 第二步&#xff1a;解压下载的SDK压缩文件到某个目录中。 进入解…

ubuntu 18.04 server源码编译安装freeswitch 1.10.11——筑梦之路

前言 这里主要编译支持语音通话、视频通话、短信、webrtc功能的PBX。 安装编译工具包和依赖包 sudo apt-get updatesudo apt-get install -y autoconf git libtool g zlib1g-dev libjpeg-dev libcurl4-openssl-dev libspeex-dev libldns-dev libedit-dev libssl-dev pkg-con…

pywebview打包本地的html

51.安装 pip install pywebview 2.新建start.py import webview import timeclass API:def say_hello(self, name):time.sleep(2) # 模拟一个耗时操作return fHello, {name}!def main():api API()webview.create_window(pywebview Example, index.html, js_apiapi)webview.…

Java 集合框架详谈及代码分析(Iterable->Collection->List、Set->各接口实现类、Map->各接口实现类)

目录 Java 集合框架详谈及代码分析&#xff08;Iterable->Collection->List、Set->各接口实现类、Map->各接口实现类&#xff09;1、集合概述1-1&#xff1a;Java 集合概述1-2&#xff1a;List、Set、Map 三者的区别&#xff1f;1-3&#xff1a;集合框架底层数据结…

卡尔曼滤波-剔除异常值的影响

二郎在看论文的时候&#xff0c;发现了一个针对卡尔曼滤波过程中&#xff0c;测量向量出现误差导致滤波发散的处理方法。 该方法也可以扩展到其他问题中使用&#xff0c;所以二郎在这里写一下。 论文原文&#xff1a;https://www.mdpi.com/1424-8220/20/17/4710 论文翻译对应…

linux使用docker部署kafka集群

1、拉取kafka docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 2、创建网络 docker network create app-kafka 3、启动zookeeper docker run -d \--name zookeeper \-p 2181:2181 \--network app-kafka \--restart always \wurstmeister/zookeeper …

电磁兼容试验数据的单位转换 笔记

1. 单位dB 的介绍 分贝&#xff08;decibel&#xff0c;/dɛsɪ.bɛl/&#xff09;是量度两个相同单位之数量比例的计量单位&#xff0c;主要用于度量声音强度&#xff0c;常用dB表示。 分贝是较常用的计量单位。可表示为&#xff1a; 1. 表示功率量之比的一种单位&#xff0c…

新手教学系列——“笑看”单元测试(pytest)

探索单元测试的必要性 你是否曾经思考过,当前的业务场景是否真的需要单元测试?我们每个人负责的模块是否也需要单元测试?什么阻碍了我们进行单元测试呢?时间紧,任务重,还要写测试?这些都是我们在开发过程中常见的问题。假设我们有一个计划开发一周的项目,让我们看看有…

Jenkins nginx自动化构建前端vue项目

在现代的Web开发中&#xff0c;Vue.js已经成为一种非常流行的JavaScript框架。为了更高效地管理和部署Vue.js项目&#xff0c;使用自动化构建工具是至关重要的。Jenkins作为一款强大的持续集成和持续部署&#xff08;CI/CD&#xff09;工具&#xff0c;为我们提供了一种便捷的方…

控制下属很简单,用好这3大管人绝招,再跳的刺头也不敢造次

控制下属很简单&#xff0c;用好这3大管人绝招&#xff0c;再跳的刺头也不敢造次 第一招&#xff1a;给压力 很多团队中的员工都是自己不带脑子工作&#xff0c;遇事就喜欢请示领导&#xff0c;让领导拿方案、拿决策。 还有一些人&#xff0c;推一下&#xff0c;他才动一下&a…