pytest测试框架flaky插件重试失败用例

Pytest提供了丰富的插件来扩展其功能，本章介绍下插件flaky ，用于在测试用例失败时自动重新运行这些测试用例。与前面文章介绍的插件pytest-rerunfailures功能有些类似，但是功能上不如pytest-rerunfailures插件丰富。

flaky官方并没有明确python和pytest版本限制。

flaky安装

使用pip命令安装: pip install flaky (安装在pytest工程所运行的python环境，python的安装目录或者虚拟环境目录，可以参考之前文章查看运行环境pycharm配置pytest运行环境)

通过pycharm安装：打开设置，按照如下图中安装插件（windows系统）

flaky运行

使用前先导入flaky

from flaky import flaky

然后使用 @flaky装饰测试用例或者测试类，在用例执行命令中无需增加额外参数。

@flaky装饰时支持3个参数，代码如下

3个参数：max_runs 和 min_passes和rerun_filter

max_runs：测试的最大运行次数，包括初始运行和任何重新运行。默认值为2,并且要大于min_passes，否则报错。

min_passes：默认值为1。表示需要指定次数来明确需要连续成功运行多少次才能被视为成功

rerun_filter：表示指定一个过滤函数，当函数返回值为布尔值False时，会让预期失败的测试立即失败，而不是在失败后重新运行；当函数布尔值为True时，失败用例会重新执行。

举例：如果传值 max_runs=3， min_passes=2，如果失败用例运行了 3次但min_passes不到2 次，即视为执行失败。

在测试用例上标记@flaky

举例：设置用例1断言失败，并带上参数max_runs=3,min_passes=2

@flaky(max_runs=3,min_passes=2)
def test_1():
    assert 1 != 1
    print('\n用例test_1执行成功')
    time.sleep(1)

该用例执行后预期结果还是失败，因为会一直断言失败

执行参数类似如下：pytest.exe -v --html=report/report.html test_case.py

运行结果显示需要成功2次，却一次也没有成功，用例还是失败状态

html测试报告如下：并没有显示重试次数，应该是不能跟pytest-html一起配合使用

我们将上述用例改造下：

num = 0
@flaky(max_runs=3,min_passes=2)
def test_1():
 		global num
    for i in range(1,4):
        num += 1
        assert num >= 2
    print('\n用例test_1执行成功')

然后再重新执行测试用例，此时预期重试以后执行成功

测试报告显示用例1已经执行成功

举例：设置用例1断言失败，用例2预期报ZeroDivisionError，带上参数rerun_filter

num = 0
@flaky(max_runs=3,min_passes=2)
def test_1():
 		global num
    for i in range(1,4):
        num += 1
        assert num >= 2
    print('\n用例test_1执行成功')

def is_callable(err, name, test, plugin):
		return False

@flaky(max_runs=3,rerun_filter=is_callable)
def test_2():
		value = 1/0
		print('\n用例test_1执行成功')
		time.sleep(1)

预期结果是用例1会被重新执行，而用例2因为is_callable函数返回False不会被重新执行

实际执行结果如下：用例2打印test_2 failed and was not selected for rerun.并没有被执行

pytest.exe -v --html=report/report.html test_case.py