behave 本身的测试报告
behave 本身提供了四种报告格式:
- pretty:这是默认的报告格式,提供颜色化的文本输出,每个测试步骤的结果都会详细列出。
- plain:这也是一种文本格式的报告,但没有颜色,并且在执行每个步骤后只输出一个新行。
- progress:这种报告格式只在执行每个测试步骤后输出一个单字符。
- json:这种报告格式以 JSON 格式输出测试结果,易于进行进一步处理。
使用 -f 参数或 --format 参数来指定报告的格式。
pretty 美化的文本格式
- 这里没有看到颜色的差别, 但是会显示每个步骤对应的代码行数
plain 普通文本格式
- 这里只会显示步骤执行的结果, 没有显示具体的步骤对应的代码函数
progress 格式
- 没有显示步骤
JSON格式
以JSON格式的输出为例:
behave -f json
这将在控制台输出 JSON 格式的测试结果。
格式化一下JSON字符串,显示如下:
可以看到JSON 的字符串包括了Feature的名字,以及各步骤和执行结果等信息。
如果希望将结果保存到文件,可以将输出重定向到一个文件,也可以使用 -o 参数或 --outfile 参数将结果写入文件:
behave -f json -o report.json
这将会产生一个名为 report.json 的文件,其中包含 JSON 格式的测试结果。这个JOSN格式的内容和上面控制台的JSON是一致的。
总结
behave 本身产生的测试包括可以使用在CI/CD 的集成上, 用来判断整个测试是否成功, 如果需要一些更直观和易读的报告, 可以结合Allure 等工具。
结合 Allure 产生更丰富的报表
有一些第三方工具或插件可以生成更好看或更有用的报告,例如 allure-behave 可以生成富交互性的 HTML 测试报告。
Allure 是什么?
Allure 是一个开源的可视化报告工具,适用于各种不同的测试框架(包括 pytest、NUnit、Jasmine 等)。Allure 可以收集测试执行的信息,生成描述测试执行结果的详细、交互式的 HTML 报告。
Allure 报告是一种可视化的测试报告,它为你提供了丰富的信息,例如测试历史、执行时间、附件等。
hebeave + Allure 产生报表的步骤
- 安装Python的 allure-behave 模块。
allure-behave
是一个用于生成 Allure 测试报告的behave
插件。
在命令行输入pip install allure-behave
成功安装的界面如下:
- 安装Allure 命令行工具
Windows 安装Allure 命令行
在Windows 中可以使用scoop 安装Allure , 而 scoop 则可以通过Windows 的PowerShell 进行安装。
关于 Scoop
Scoop是一种适用于Windows操作系统的命令行软件包管理器,用于快速安装、升级和卸载应用程序。它使用PowerShell命令行界面,可以从互联网上获取开源软件,软件包命令可以方便地从GitHub上获取。Scoop不需要管理员权限,可以在用户帐户下运行。Scoop是自由开源软件,可以在GitHub上查看其代码。
Windows下如何安装 scoop
在 Windows 中,可以按照以下步骤安装scoop
命令行安装器:
-
** 确认系统满足安装要求**:
scoop需要 Windows 7 SP1+、Windows Server 2008+ 或更高版本,以及 PowerShell 5 以上版本(或 PowerShell Core 6+)。 -
安装 PowerShell
- 如果系统是 Windows 10,已经有该所需的 PowerShell 版本。
- 如果系统是 Windows 7/8/8.1,需要手动升级 PowerShell。可以在 Microsoft 的官方网站下载最新版本的 PowerShell。
在开始菜单输入 "po“就可以找到PowerShell 了, 如下图
- 开启 PowerShell 脚本执行权限:
打开 PowerShell(以管理员权限),运行以下命令:
Set-ExecutionPolicy RemoteSigned -scope CurrentUser
命名输入后提示是否更改策略, 输入 ”A“ 就可以了。
这个命令开启 PowerShell 脚本的执行权限,允许你在 PowerShell 中运行`scoop`的安装脚本。
- 安装
scoop
:
在 PowerShell 中,运行以下命令:
iwr -useb get.scoop.sh | iex
- 这个命令下载并运行
scoop
的安装脚本,会把scoop
安装到你的用户目录下的scoop
文件夹高。
安装成功后,你可以通过scoop help
命令查看scoop
的用法说明。
需要注意,由于scoop
需要访问 GitHub 以获取并安装软件,如果你所在的网络环境无法访问 GitHub,可能会导致scoop
安装或使用中遇到问题。类似如下错误信息:
Windows下如何安装 Allure 命令行
如果正确安装了scoop ,可以通过 scoop install allure
安装Allure ,需要注意这种方式需要安装Java ,而且版本是 8 以上, 而且配置了JAVA_HOME环境变量,
如果无法正确安装scoop 。 也可以通过直接下载allure的命令行工具。 下载完成之后将 allure目录的bin 目录添加到Path中, 如下图:
allure的Windows命令行工具的最新版下载地址: https://download.csdn.net/download/oscar999/88559298, 也可以到 https://repo.maven.apache.org/maven2/io/qameta/allure/allure-commandline 查找适当的版本下载。
hebeave + Allure 产生报表
上面的环境准备完成, 就可以产生报表了, 具体步骤如下:
1.命令行切换到规格文件所处目录的父目录,执行如下命令:
behave -f allure_behave.formatter:AllureFormatter -o allure_data
注意:只有正确安装了allure-behave 模块模块之后才能 通过指定allure_behave.formatter:AllureFormatter
作为格式化器和输出目录,来运行behave
, 否则会提示beheave不认识这个命令选项
正确执行的效果是:
上面的命令会将测试的结果放在allure_data目录中,
这个目录会产生一个 json格式的文件。
- 在命令行输入
allure serve allure_data
执行的结果是:
执行之后会打开一个浏览器窗口, 这里显示的就是一个高大上的在线报表页面了:
Allure 报告的常见组成部分及其含义如下:
-
Overview: 报告首页会显示一个总览(Overview),其中包括执行的测试用例总数、通过率、持续时间,以及故障、错误等统计信息。
-
Graphs: 报告提供一些数据可视化,如饼图和柱状图,以便更好地理解测试分布、状态、持续时间等。这有助于识别测试的瓶颈和问题。
-
Categories: 测试结果可以按问题类型或故障类型分类。Allure 报告支持创建自定义类别,以根据用例标签(如自动化用例、手动用例等)对测试结果进行分组和筛选。
-
Timeline: 时间线视图展示了测试用例的执行顺序以及每个测试用例的开始和结束时间。这有助于查看并发量和找出性能问题。
-
Test Details: 报告中的每个测试用例都有详细的信息,例如测试名称、描述、状态(通过、失败、跳过等)、测试步骤、运行时间等。此外,也有可能包含额外的信息,如屏幕截图、日志文件或自定义文档等。
-
History: Allure 报告支持展示测试的历史数据,有助于追踪和分析测试的稳定性和质量。例如在多次构建间查看失败案例的趋势。
-
Attachments: 可以添加附件到测试步骤或测试用例,以显示与测试相关的其他信息。例如,错误日志, 屏幕截图, 视频记录等,可以帮助更好地诊断问题。
-
Retries: 如果测试用例执行失败,Allure 支持自动重试。在报告中,原始测试用例和重试测试用例会分开显示,以便查看重试次数和结果。
参考
- allure
安装说明:https://allurereport.org/docs/gettingstarted-installation/