文章目录
- Allure 静态定制报告标记
- Allure 动态生成报告标记
- Allure 实现方式选择
- Allure 分类执行
- 运行epic相关
- 运行feature相关
- 运行story相关
- 运行story相关
- 运行feature和多个story相关(取并集)
Allure 静态定制报告标记
定义和用法:
Decorators API
主要通过注解(annotations)
或装饰器(decorators)
来扩展测试代码,为Allure
报告提供额外的信息。- 这些注解或装饰器直接应用于测试方法、钩子方法或测试类上。
应用场景:
- 步骤描述:使用
@Step
注解来标记测试方法或代码块,描述测试执行的各个步骤。- 标题和描述:使用
@Title
和@Description
注解为测试用例或测试套件提供自定义的标题和描述。- 附件:使用
@Attachment
注解将文件或图片附加到测试报告中。- 参数和值:使用
@Parameter
和@Value
注解传递参数和获取结果值,以便在报告中展示。优点:
- 简洁:直接在测试代码中使用注解,无需编写额外的代码。
- 可读性:注解提供了对测试行为的明确描述,增强了代码的可读性。
- 易于维护:当测试代码变更时,注解可以轻松地随之更新。
缺点:
- 功能限制:注解可能不支持所有
Allure
报告的功能,特别是在需要动态生成报告内容的情况下。- 框架支持:不是所有的测试框架都支持
Allure
的注解。
test_case_03.py
文件示例代码缺点:每个用例都需要手动添加描述信息,较为繁琐,且难以维护
import pytest
import allure
# 测试函数
@allure.step("测试步骤2,字符串相加:{0},{1}") # 测试步骤,可通过format机制自动获取函数参数
def str_add(str1, str2):
print("进入str_add函数")
if not isinstance(str1, str):
return "%s is not a string" % str1
if not isinstance(str2, str):
return "%s is not a string" % str2
return str1 + str2
@allure.title("测试用例名称:测试字符串相等")
@allure.tag("测试用例标签1", "测试用例标签2", "测试用例标签3")
@allure.description("测试用例描述信息:测试两个字符串是否相等")
@allure.severity("critical") # 优先级,包含blocker, critical, normal, minor, trivial 几个不同的等级
@allure.feature("测试模块_demo1") # 功能块,feature功能分块时比story大,即同时存在feature和story时,feature为父节点
@allure.story("测试模块_demo2") # 功能块,具有相同feature或story的用例将规整到相同模块下,执行时可用于筛选
@allure.issue("测试用例缺陷编号:对应外部管理系统的地址或标识") # 问题表识,关联标识已有的问题,可为一个url链接地址
@allure.testcase("测试用例关联编号:对应外部管理系统的地址或标识") # 用例标识,关联标识用例,可为一个url链接地址
@pytest.mark.parametrize("para_one, para_two", # 用例参数
[("hello world", "hello world"), # 用例参数的参数化数据
(4, 4),
("中文", "中文")],
ids=["test ASCII string", # 对应用例参数化数据的用例名
"test digital string",
"test unicode string"])
def test_case_example(para_one, para_two):
"""用例描述:测试字符串相等
:param para_one: 参数1
:param para_two: 参数2
"""
# 获取参数
paras = vars()
# 关联F的资料信息, 可在报告中记录保存必要的相关信息
with allure.step("测试步骤1,用例参数:{0}".format(paras)):
pass # 动态生成step节点,必须使用with,否则会不生成
# 调用测试函数
res = str_add(para_one, para_two)
# 对必要的测试中间结果数据做备份
with allure.step("测试步骤3,str_add返回结果:{0}".format(res)):
pass
# 测试步骤,对必要的测试过程加以说明
with allure.step("测试步骤4,结果校验 {0} == {1}".format(res, para_one + para_two)):
assert res == para_one + para_two, res
allure
报告效果
Allure 动态生成报告标记
定义和用法:
Runtime API
提供了编程式的方式来生成Allure
报告。- 它允许在测试执行过程中动态地创建报告内容,包括添加步骤、日志、附件等。
应用场景:
- 动态内容:当测试执行的结果需要动态地影响报告内容时,使用
Runtime API
可以很方便地实现。- 复杂逻辑:对于需要复杂逻辑或条件判断的测试场景,
Runtime API
提供了更大的灵活性。- 自定义扩展:通过
Runtime API
,你可以创建自定义的报告内容,如自定义的日志条目、图表等。优点:
- 灵活性:
Runtime API
提供了丰富的接口和方法,允许根据测试执行的实际情况动态地生成报告内容。- 强大的功能:与
Decorators API
相比,Runtime API
支持更多的Allure
报告功能,如创建嵌套步骤、自定义日志级别等。缺点:
- 复杂性:使用
Runtime API
需要编写更多的代码,可能会增加测试代码的复杂性。- 性能影响:在测试执行过程中频繁地调用
Runtime API
的方法可能会对性能产生一定的影响。
test_case_04.py
文件示例代码
import allure
import pytest
data = [
{
"title": "测试用例名称:用户注册",
"tag": ["测试用例标签1", "测试用例标签2", "测试用例标签3"],
"description": "测试用例描述信息:用户注册成功",
"severity": "critical",
"epic": "测试目录_xxx1",
"feature": "测试模块_xxx2",
"story": "测试功能_xxx1",
"issue": "测试用例缺陷编号:对应外部管理系统的地址或标识",
"testcase": "测试用例关联编号:对应外部管理系统的地址或标识",
"datagram": {
"步骤1": {
"url": "/xxx/xxx/xxx",
"method": "post",
"headers": {'Content-Type': 'application/json'},
"params": {"username": "admin", "password": "123456"}
}
}
},
{
"title": "测试用例名称:用户注册",
"tag": ["测试用例标签1", "测试用例标签2", "测试用例标签3"],
"description": "测试用例描述信息:用户注册失败",
"severity": "critical",
"epic": "测试目录_xxx1",
"feature": "测试模块_xxx2",
"story": "测试功能_xxx1",
"issue": "测试用例缺陷编号:对应外部管理系统的地址或标识",
"testcase": "测试用例关联编号:对应外部管理系统的地址或标识",
"datagram": {
"步骤1": {
"url": "/xxx/xxx/xxx",
"method": "post",
"headers": {'Content-Type': 'application/json'},
"params": {"username": "admin", "password": "123123"}
}
}
},
{
"title": "测试用例名称:订单查询",
"tag": ["测试用例标签1", "测试用例标签2", "测试用例标签3"],
"description": "测试用例描述信息:订单查询成功",
"severity": "critical",
"epic": "测试目录_xxx2",
"feature": "测试模块_xxx1",
"story": "测试功能_xxx1",
"issue": "测试用例缺陷编号:对应外部管理系统的地址或标识",
"testcase": "测试用例关联编号:对应外部管理系统的地址或标识",
"datagram": {
"步骤1": {
"url": "/xxx/xxx/xxx",
"method": "post",
"headers": {'Content-Type': 'application/json'},
"params": {"username": "admin", "password": "123456"}
},
"步骤2": {
"url": "/xxx/xxx/xxx",
"method": "get",
"params": {"id": "10086", "datetime": "2024-04-15"}
}
}
}
]
@pytest.mark.parametrize('datagram', data)
class TestCase:
def test_case(self, datagram):
allure.dynamic.title(datagram["title"])
for tag in datagram["tag"]:
allure.dynamic.tag(tag)
allure.dynamic.description(datagram["description"])
allure.dynamic.severity(datagram["severity"])
allure.dynamic.epic(datagram["epic"])
allure.dynamic.feature(datagram["feature"])
allure.dynamic.story(datagram["story"])
allure.dynamic.issue(datagram["issue"])
allure.dynamic.testcase(datagram["testcase"])
# 获取实际需要的测试数据
datagram = datagram.get("datagram")
print("测试数据类型:", type(datagram))
print("测试数据详情:", datagram)
# 模拟测试数据检查,避免不必要的错误
if not datagram or not isinstance(datagram, dict) or not all(x.startswith("步骤") for x in datagram.keys()):
assert False, "缺少测试数据或测试数据格式错误"
# 开始测试,模拟执行测试用例过程的日志
with allure.step("开始测试"):
allure.attach(body="一条测试开始了...", name="测试日志", attachment_type=allure.attachment_type.TEXT)
if datagram.get("步骤1"):
with allure.step("执行步骤1"):
# 这里可以编写实际的测试代码
params = datagram["步骤1"]["params"]
username = params["username"]
password = params["password"]
actual = username == "admin" and password == "123456"
if not actual:
assert_info = f"用户名: {username}, 密码: {password},验证失败"
allure.attach(body=assert_info, name="验证详情", attachment_type=allure.attachment_type.TEXT)
assert False, f"用户名或密码错误: {username}, {password}"
else:
assert_info = f"用户名: {username}, 密码: {password},验证成功"
allure.attach(body=assert_info, name="验证详情", attachment_type=allure.attachment_type.TEXT)
assert True, "验证成功"
if datagram.get("步骤2"):
with allure.step("执行步骤2"):
# 这里可以编写实际的测试代码
assert True, "假设执行步骤2成功"
with allure.step("结束测试"):
allure.attach(body="测试结束", name="测试日志", attachment_type=allure.attachment_type.TEXT)
allure
报告效果
Allure 实现方式选择
- 基于需求:选择使用哪种
API
取决于具体需求。如果测试场景相对简单,并且报告内容主要是静态的,那么Decorators API
可能是一个更好的选择。- Decorators API 更适合在测试代码中直接添加静态的描述和标记,适用于测试步骤简单、报告内容相对固定的场景。
- Runtime API 更适合需要动态生成报告内容或实现复杂逻辑的场景,它提供了更多的控制选项和灵活性,但可能会增加代码的复杂性和对性能的影响。
Allure 分类执行
在
Allure
中,epic
、feature
、story
是用来组织测试用例的层次结构,它们帮助团队更好地理解和管理测试用例。
- Epic(史诗):通常代表一个大的功能或需求,可以包含多个
feature
。- Feature(功能):属于一个
epic
,代表一个具体的功能或模块,可以包含多个story
。- Story(故事):是
feature
的一个子集,代表一个具体的子功能或场景。
运行epic相关
pytest --alluredir=./results --allure-epics="需求1"
运行feature相关
pytest --alluredir=./results --allure-features="功能模块2"
运行story相关
pytest --alluredir=./results --allure-stories="子功能1"
运行story相关
pytest --alluredir=./results --allure-stories="子功能1,子功能2"
运行feature和多个story相关(取并集)
pytest --alluredir=./results --allure-features="功能模块1" --allure-stories="子功能1,子功能2"
请注意,当同时使用多个
--allure-*
参数时,Allure
会根据这些条件筛选测试用例,并运行满足所有条件的测试用例的并集。此外,请确保您的测试用例已经使用
Allure
的注解(如@epic
,@feature
,@story
)进行了适当的标记,以便 Allure 可以识别并应用这些筛选条件。例如:
import pytest
from allure_commons.types import AllureAttributeType
@pytest.mark.epic("需求1")
@pytest.mark.feature("功能模块2")
@pytest.mark.story("子功能1")
def test_example():
assert True