分布式测试插件 pytest-xdist 使用详解

目录

使用背景:

使用前提:

使用快速入门:

使用小结:


使用背景:

  1. 大型测试套件:当你的测试套件非常庞大,包含了大量的测试用例时,pytest-xdist可以通过并行执行来加速整体的测试过程。它利用多个进程或计算机的计算资源,可以显著减少测试执行的时间。

  2. 高计算资源需求:某些测试场景可能需要大量的计算资源,例如进行复杂的计算、模拟或数据处理。在这种情况下,使用pytest-xdist可以将测试任务分发给多个进程或计算机,以充分利用计算资源,加快测试速度。

  3. 并行测试需求:当你需要并行执行多个测试用例时,pytest-xdist非常有用。它可以将测试用例分发给多个进程或计算机,同时运行多个测试,从而提高整体的测试效率。

使用前提:

  1. 测试用例独立性:确保测试用例之间相互独立,不会相互干扰或依赖。由于pytest-xdist并行执行测试用例,测试用例之间的顺序是不确定的。因此,每个测试用例应该独立于其他测试用例,能够以任意顺序执行而不会影响结果。

  2. 数据共享和同步:如果测试用例之间需要共享数据或进行某种形式的同步操作,确保在使用pytest-xdist时正确处理这些情况。例如,可以使用共享的数据库或文件系统来存储和访问共享数据,或者通过网络进行通信来实现进程或计算机之间的同步。

  3. 并发问题:并行执行测试用例可能会引发并发问题,例如资源竞争、死锁等。在设计测试用例时,要特别注意并发问题,并采取适当的措施来避免或解决这些问题,例如使用互斥锁、线程安全的数据结构等。

  4. 结果收集和报告:由于测试用例在多个进程或计算机上执行,因此结果收集和报告的过程可能会有所不同。确保使用适当的机制来收集和汇总测试结果,并生成全面和准确的测试报告。

  5.  资源合理的分配使用:并行执行测试用例可能会占用大量的计算资源和内存。确保在使用pytest-xdist时,计算资源和内存的分配是合理的,以避免资源耗尽或系统崩溃

使用快速入门:

  1. 插件安装

pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

      2.  编写耗时大型用例

# content of test_example.py

import pytest

@pytest.mark.parametrize('input', [1, 2, 3, 4, 5])
def test_square(input):
    result = input ** 2
    assert result == input * input

定义了一个名为test_square的测试用例。它使用@pytest.mark.parametrize装饰器来指定多个输入值进行测试。在这个例子中,我们提供了输入值1、2、3、4和5

  3. 使用pytest-xdist进行分布式测试,需要在命令行中指定使用的进程数。例如,要使用4个进程进行分布式测试,可以运行以下命令:

pytest -n 4 test_example.py

  -n参数指定要使用的进程数。在这个例子中,我们使用了4个进程。当你运行上述命令时,pytest-xdist会将测试用例分发给4个进程,并在这些进程上并行执行测试。每个进程将负责执行一部分测试用例。

  4. pytest-xdist不仅可以在多进程上运行测试,还可以在多个计算机上进行分布式测试

    4.1 安装pytest-xdist插件:首先,确保在所有计算机上都安装了pytest-xdist插件。可以使用pip或conda等包管理工具进行安装。

    4.2 配置主机和从机:选择一台计算机作为主机,其他计算机作为从机。在主机和从机上创建一个配置文件(例如pytest.inipyproject.toml),并设置以下参数:

# pytest.ini

[pytest]
addopts = -n auto

    4.3 启动从机:在每台从机上运行以下命令,使其准备好接收测试任务:

pytest --dist=loadscope

    4.4 启动主机:在主机上运行以下命令,开始分布式测试:

pytest test_example.py

使用小结:

  1. 并不是并发进程数越多好,-n值越大越好,因为pytest-xdist的并发数量取决于多个因素,如CPU核数(主要),内存,io等计算资源。

  2. 测试用例很少,计算并不复杂,徒增繁琐。

  3.  测试套件很大时,合理利用pytest-xdist的并发数量将会节约约近一半的时间。

  4. pytest-xdist默认是无序执行的,可以通过 --dist 参数来控制顺序


以下是我收集到的比较好的学习教程资源,虽然不是什么很值钱的东西,如果你刚好需要,可以评论区,留言【777】直接拿走就好了

各位想获取资料的朋友请点赞 + 评论 + 收藏,三连!

三连之后我会在评论区挨个私信发给你们~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/64543.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Linux tcpdump 命令详解

简介 用简单的话来定义tcpdump,就是:dump the traffic on a network,根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的…

时序预测 | MATLAB实现BO-GRU贝叶斯优化门控循环单元时间序列预测

时序预测 | MATLAB实现BO-GRU贝叶斯优化门控循环单元时间序列预测 目录 时序预测 | MATLAB实现BO-GRU贝叶斯优化门控循环单元时间序列预测效果一览基本介绍模型搭建程序设计参考资料 效果一览 基本介绍 MATLAB实现BO-GRU贝叶斯优化门控循环单元时间序列预测。基于贝叶斯(bayes)…

One-4-All: Neural Potential Fields for Embodied Navigation 论文阅读

论文信息 题目:One-4-All: Neural Potential Fields for Embodied Navigation 作者:Sacha Morin, Miguel Saavedra-Ruiz 来源:arXiv 时间:2023 Abstract 现实世界的导航可能需要使用高维 RGB 图像进行长视野规划,这…

【Windbg】通过网络调试windows内核

环境 windows版本:win10_x64 1901 windbg版本:1.2306.12001.0 HOST 1、windbg软件设置。 点击菜单文件,然后如下图操作。 2、等待连接。 ************* Waiting for Debugger Extensions Gallery to Initialize **************>>&…

“他“是怎么拿offer的?全网最全,性能测试面试题+答案(超全整理)

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 1、什么是负载测试…

BenchmarkSQL 支持 TiDB 驱动以及 tidb-loadbalance

作者: GangShen 原文来源: https://tidb.net/blog/3c274180 使用 BenchmarkSQL 对 TiDB 进行 TPC-C 测试 众所周知 TiDB 是一个兼容 MySQL 协议的分布式关系型数据库,用户可以使用 MySQL 的驱动以及连接方式连接 TiDB 进行使用&#xff0…

了解HTTP代理日志:解读请求流量和响应信息

嗨,爬虫程序员们!你们是否在了解爬虫发送的请求流量和接收的响应信息上有过困扰?今天,我们一起来了解一下。 首先,我们需要理解HTTP代理日志的基本结构和内容。HTTP代理日志是对爬虫发送的请求和接收的响应进行记录的文…

基于STM32微控制器的物联网(IoT)节点设计与实现

基于STM32微控制器的物联网(IoT)节点的设计和实现。我们讨论物联网节点的基本概念和功能,并详细介绍了STM32微控制器的特点和优势。然后,我们将探讨如何使用STM32开发环境和相关的硬件模块来设计和实现一个完整的物联网节点。最后,我们将提供一个示例代码,展示如何在STM3…

QToolButton内存提前释放导致mouseReleaseEvent崩溃问题

QToolButton内存提前释放导致mouseReleaseEvent崩溃问题 1、问题现象及原因分析 1.1、问题现象 如图所示,mouseReleaseEvent接口this指针地址为空,导致了Qt内部发生了Access violation异常。 1.2、问题原因 在项目中,使用该QToolButton…

图扑软件入选 2023 中国信通院“铸基计划”全景图

7 月 27 日,由中国信通院主办的“2023 数字生态发展大会”暨中国信通院“铸基计划”年中会议在北京召开。本次大会重磅发布了《高质量数字化转型产品及服务全景图(2023 上半年度)》。图扑软件凭借自研 HT for Web 数字孪生可视化产品成功入选…

Swagger技术-自动生成测试接口

简介 前端资源和后端资源分开,前端通过nginx运行,后端通过tomcat运行 前端技术框架: Swagger 作用:生成各种样式的接口文档,以及在线接口调试页面等 kinfe4j是基于mvc框架继承swagger生成api文档的增强解决方案 …

在oracle SQL中创建返回表的函数

这是我的职责 create or replace FUNCTION split(i_str IN VARCHAR2,i_delim IN VARCHAR2 DEFAULT : ) RETURN TABLE AS BEGINRETURN SELECT trim(regexp_substr(i_str, [^||i_delim||], 1, LEVEL)) str FROM projetCONNECT BY instr(i_str, i_delim, 1, LEVEL - 1) …

赛码网-Light 100%AC代码(C++)

———————————————————————————————————— ⏩ 大家好哇!我是小光,嵌入式爱好者,一个想要成为系统架构师的大三学生。 ⏩最近在准备秋招,一直在练习编程。 ⏩本篇文章对赛码网的 Light 题目做一个…

QT 使用单例模式

目录 1. 单例模式介绍 2.单例模式实现 1. 单例模式介绍 有些时候我们在做 qt 项目的时候,要用到很多类. 例如我们用到的类有 A,B,C,D. 其中,A 是 B,C,D 中都需要用到的类,A 类非常的抢手. 但是,A 类非常的占内存,定义一个 A 对象需要 500M 内存,假如在 B,C,D 中都定义一个 A 类…

爬虫获取电影数据----以沈腾参演电影为例

数据可视化&分析实战 1.1 沈腾参演电影数据获取 文章目录 数据可视化&分析实战前言1. 网页分析2. 构建数据获取函数2.1 网页数据获取函数2.2 网页照片获取函数 3. 获取参演影视作品基本数据4. 电影详细数据获取4.1 导演、演员、描述、类型、投票人数、评分信息、电影海…

e6zzseo:外贸独立站怎么推广

外贸独立站的推广需要一系列综合性的策略和方法,以吸引目标市场的访问者,并将他们转化为潜在客户。以下是一些推广外贸独立站的建议: 1. 搜索引擎优化(SEO): e6zzseo认为优化网站可以适应搜索引擎的要求&a…

elementUi select下拉框触底加载异步分页数据

在Element UI中,可以通过监听select下拉框的visible-change事件来实现触底加载下一页的效果。 方式一:利用elementUi的事件 具体步骤如下: 首先,在select组件中设置:visible-change"handleVisibleChange"…

MySQL数据库基础

目标: 1.数据库操作:创建数据库,删除数据库 2.常用数据类型 3.表的操作:创建表,删除表 数据库操作 (1)显示数据库 show databases; (2)创建数据库 创建一个…

sentinel简单使用

核心demo&#xff1a; 1 引入依赖: <dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-core</artifactId><version>1.8.0</version> </dependency>2 核心代码&#xff1a; 3 限流保护代码&#xff1a;…

Pandaer的iPhone手机壳

哇塞&#xff0c;Pandaer的设计太棒了&#xff01;手机壳的花样多到让我眼花缭乱&#xff0c;好多系列设计都很有意思&#xff0c;让人有集齐的冲动。我最近入手了几个iPhone的手机壳&#xff0c;它有亮色和透明的款式&#xff0c;亮色的壳内部也是亮的&#xff0c;因为手机壳全…