pytestx容器化执行引擎

系统架构

前端、后端、pytest均以Docker容器运行服务，单独的容器化执行引擎，项目环境隔离，即用即取，用完即齐，简单，高效。

  • 前端容器：页面交互，请求后端，展示HTML报告

  • 后端容器：接收前端请求，启动任务，构建镜像，触发运行pytest，挂载HTML报告

  • pytest容器：拉取项目代码，指定目录执行，生成HTML报告

说明：构建镜像目前是在宿主机启动后端服务来执行docker命令的，暂未支持Kubernetes编排。宿主机安装了Docker，启动服务后，可以执行docker命令。如果采用容器部署后端，容器里面不包含Docker，无法构建，个人想法是可以借助K8S来编排，当前版本还未实现

系统流程

支持2种运行模式配置：容器和本地。

容器模式：判断是否支持docker，如果支持，构建pytest镜像，在构建时，通过git拉取项目代码，再运行容器，按照指定目录执行pytest，生成测试报告，并将报告文件挂载到后端。如果不支持，降级为本地运行。

本地模式：模拟容器行为，在本地目录拉取代码，执行pytest，生成测试报告。

效果展示

任务管理：

容器模式：

本地模式：

平台大改造

pytestx平台更轻、更薄，移除了用例管理、任务关联用例相关功能代码，只保留真正的任务调度功能，backend的requirements.txt解耦，只保留后端依赖，pytest相关依赖转移到tep-project。

那如何管理用例呢？约定大于配置，我们约定pytest项目已经通过目录维护好了一个稳定的自动化用例集，也就是说需要通过平台任务调度的用例，都统一存放在目录X下，这些用例基本不需要维护，可以每日稳定执行，然后将目录X配置到平台任务信息中，按指定目录执行用例集。对于那些不够稳定的用例，就不能放到目录X下，需要调试好以后再纳入。

为什么不用marker？pytest的marker确实可以给测试用例打标记，也有人是手动建立任务和用例进行映射，这些方式都不如维护一个稳定的自动化用例集方便，在我们公司平台上，也是维护用例集，作为基础用例集。使用pytest项目同理。

核心代码

一键部署

#!/bin/bash
PkgName='backend'

Dockerfile='./deploy/Dockerfile.backend'
DockerContext=./

echo "Start build image..."
docker build -f $Dockerfile -t $PkgName $DockerContext
if [ $? -eq 0 ]
then
    echo "Build docker image success"
    echo "Start run image..."
    docker run -p 8000:80 $PkgName
else
    echo "Build docker image failed"
fi
FROM python:3.8

ENV LANG C.UTF-8
ENV TZ=Asia/Shanghai

RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone

WORKDIR /app
COPY ./backend .
RUN pip install -r ./requirements.txt -i \
    https://pypi.tuna.tsinghua.edu.cn/simple \
    --default-timeout=3000

CMD ["python", "./manage.py", "runserver", "0.0.0.0:80"]

数据库表

更精简，只有project和task两张表，简化平台功能，聚焦任务调度：

需要说明的是，如果多人运行任务，只会存储最后一次执行结果，这个问题不是核心，个人精力有限，不打算在开源项目中开发，更侧重于实现任务调度，供大家参考

执行任务

settings配置任务模式，判断执行不同分支：

def run(self):
    logger.info("任务开始执行")
    if settings.TASK_RUN_MODE == TaskRunMode.DOCKER:  # 容器模式
        try:
            self.execute_by_docker()
        except Exception as e:
            logger.info(e)
            if e == TaskException.DockerNotSupportedException:
                logger.info("降级为本地执行")
                self.execute_by_local()
    if settings.TASK_RUN_MODE == TaskRunMode.LOCAL:  # 本地模式
        self.execute_by_local()
    self.save_task()

容器模式

先根据docker -v命令判断是否支持docker，然后docker build，再docker run

def execute_by_docker(self):
    logger.info("运行模式：容器")
    output = subprocess.getoutput("docker -v")
    logger.info(output)
    if "not found" in output:
        raise TaskException.DockerNotSupportedException
    build_args = [
        f'--build-arg CMD_GIT_CLONE="{self.cmd_git_clone}"',
        f'--build-arg GIT_NAME="{self.git_name}"',
        f'--build-arg EXEC_DIR="{self.exec_dir}"',
        f'--build-arg REPORT_NAME="{self.report_name}"',
    ]
    cmd = f"docker build {' '.join(build_args)} -f {self.dockerfile_pytest} -t {self.git_name} {BASE_DIR}"
    logger.info(cmd)
    output = subprocess.getoutput(cmd)
    logger.info(output)
    cmd = f"docker run -v {REPORT_PATH}:/app/{os.path.join(self.exec_dir, 'reports')} {self.git_name}"
    logger.info(cmd)
    output = subprocess.getoutput(cmd)
    logger.info(output)

将项目仓库、执行目录、报告名称信息，通过参数传入Dockerfile.pytest

FROM python:3.8

ENV LANG C.UTF-8
ENV TZ=Asia/Shanghai
ARG CMD_GIT_CLONE
ARG GIT_NAME
ARG EXEC_DIR
ARG REPORT_NAME

RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone

WORKDIR /app
RUN $CMD_GIT_CLONE
RUN pip install -r ./$GIT_NAME/requirements.txt -i \
    https://pypi.tuna.tsinghua.edu.cn/simple \
    --default-timeout=3000

WORKDIR $EXEC_DIR
ENV HTML_NAME=$REPORT_NAME
CMD ["pytest", "--html=./reports/$HTML_NAME", "--self-contained-html"]

docker run的-v参数将容器报告挂载在后端服务，当报告生成后，后端服务也会生成一份报告文件。再将文件内容返给前端展示：

def report(request, *args, **kwargs):
    task_id = kwargs["task_id"]
    task = Task.objects.get(id=task_id)
    report_path = task.report_path

    with open(os.path.join(REPORT_PATH, report_path), 'r', encoding="utf8") as f:
        html_content = f.read()

    return HttpResponse(html_content, content_type='text/html')

测试报告使用的pytest-html，重数据内容，轻外观样式。

本地模式

模拟容器行为，把本地.local目录当做容器，拉代码，执行pytest，生成报告，复制报告到报告文件夹，删除本地目录：

def execute_by_local(self):
    logger.info("运行模式：本地")
    os.makedirs(self.local_path, exist_ok=True)
    os.chdir(self.local_path)
    cmd_list = [self.cmd_git_clone, self.cmd_pytest]
    for cmd in cmd_list:
        logger.info(cmd)
        output = subprocess.getoutput(cmd)
        if output:
            logger.info(output)
    os.makedirs(REPORT_PATH, exist_ok=True)
    shutil.copy2(self.project_report_path, REPORT_PATH)
    shutil.rmtree(LOCAL_PATH)

本地模式，主要用于本地调试，在缺失Docker环境时，也能调试其他功能。

配置

TASK_RUN_MODE = TaskRunMode.DOCKER
LOCAL_PATH = os.path.join(BASE_DIR, ".local")
REPORT_PATH = os.path.join(BASE_DIR, "task", "report")
class TaskRunner:
    def __init__(self, task_id, run_user_id):
        self.task_id = task_id
        self.directory = Task.objects.get(id=task_id).directory
        self.project_id = Task.objects.get(id=task_id).project_id
        self.git_repository = Project.objects.get(id=self.project_id).git_repository
        self.git_branch = Project.objects.get(id=self.project_id).git_branch
        self.git_name = re.findall(r"^.*/(.*).git", self.git_repository)[0]
        self.local_path = os.path.join(LOCAL_PATH, str(uuid.uuid1()).replace("-", ""))
        self.run_user_id = run_user_id
        self.current_time = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime(time.time()))
        self.report_name = f"{str(self.git_name)}-{self.task_id}-{self.run_user_id}-{self.current_time}.html"
        self.project_report_path = os.path.join(self.local_path, self.git_name, "reports", self.report_name)
        self.dockerfile_pytest = os.path.join(DEPLOY_PATH, "Dockerfile.pytest")
        self.exec_dir = os.path.join(self.git_name, self.directory)
        self.cmd_git_clone = f"git clone -b {self.git_branch} {self.git_repository}"
        self.cmd_pytest = f"pytest {self.exec_dir} --html={self.project_report_path} --self-contained-html"

tep-project更新

1、整合fixture，功能类放在fixture_function模块，数据类放在其他模块，突出fixture存放数据概念，比如登录接口fixture_login存储用户名密码、数据库fixture_mysql存储连接信息、文件fixture_file_data存储文件路径

2、改造fixture_login，数据类fixture代码更简洁

import pytest
from loguru import logger


@pytest.fixture(scope="session")
def login(http, file_data):
    logger.info("----------------开始登录----------------")
    response = http(
        "post",
        url=file_data["domain"] + "/api/users/login",
        headers={"Content-Type": "application/json"},
        json={"username": "admin", "password": "qa123456"}
    )
    assert response.status_code < 400
    logger.info("----------------登录成功----------------")
    response = response.json()
    return {"Content-Type": "application/json", "Authorization": f"Bearer {response['token']}"}


@pytest.fixture(scope="session")
def login_xdist(http, tep_context_manager, file_data):
    """
    该login只会在整个运行期间执行一次
    """

    def produce_expensive_data(variable):
        logger.info("----------------开始登录----------------")
        response = http(
            "post",
            url=variable["domain"] + "/api/users/login",
            headers={"Content-Type": "application/json"},
            json={"username": "admin", "password": "qa123456"}
        )
        assert response.status_code < 400
        logger.info("----------------登录成功----------------")
        return response.json()

    response = tep_context_manager(produce_expensive_data, file_data)
    return {"Authorization": "Bearer " + response["token"]}

3、改造fixture_mysql，支持维护多个连接，并且保持简洁

fixture_function.py

@pytest.fixture(scope="class")
def executor():
    class Executor:
        def __init__(self, db):
            self.db = db
            self.cursor = db.cursor()

        def execute_sql(self, sql):
            try:
                self.cursor.execute(sql)
                self.db.commit()
            except Exception as e:
                print(e)
                self.db.rollback()
            return self.cursor

    return Executor

fixture_mysql.py

@pytest.fixture(scope="class")
def mysql_execute(executor):
    db = pymysql.connect(host="host",
                         port=3306,
                         user="root",
                         password="password",
                         database="database")
    yield executor(db).execute_sql
    db.close()


@pytest.fixture(scope="class")
def mysql_execute_x(executor):
    db = pymysql.connect(host="x",
                         port=3306,
                         user="x",
                         password="x",
                         database="x")
    yield executor(db).execute_sql
    db.close()

4、改造fixture_file_data，并添加示例test_file_data.py

import os

import pytest

from conftest import RESOURCE_PATH


@pytest.fixture(scope="session")
def file_data(resource):
    file_path = os.path.join(RESOURCE_PATH, "demo.yaml")
    return resource(file_path).get_data()


@pytest.fixture(scope="session")
def file_data_json(resource):
    file_path = os.path.join(RESOURCE_PATH, "demo.json")
    return resource(file_path).get_data()

5、添加接口复用的示例代码

tests/base就是平台调度使用的稳定自动化用例集。

接口代码复用设计

5条用例：

  1. test_search_sku.py：搜索商品，前置条件：登录

  2. test_add_cart.py：添加购物车，前置条件：登录，搜索商品

  3. test_order.py：下单，前置条件：登录，搜索商品，添加购物车

  4. test_pay.py：支付，前置条件：登录，搜索商品，添加购物车，下单

  5. test_flow.py：完整流程

怎么设计？

  • 登录，每条用例前置条件都依赖，定义为fixture_login，放在fixtures目录下

  • 搜索商品，test_search_sku.py用例本身不需要复用，被前置条件依赖3次，可以复用

①定义为fixture_search_sku放在fixtures❌ 弊端：导致fixtures臃肿

②复制用例文件，允许多份代码，平行展开✅ 好处：高度解耦，不用担心依赖问题

总结，定义为fixture需要具备底层性，足够精炼。对于业务接口用例的前置条件，尽量在用例文件内部处理，保持文件解耦，遵循独立可运行的原则。

复制多份文件？需要修改的话要改多份文件？

是的，但这种情况极少。我能想到的情况：一、框架设计不成熟，动了底层设计，二、接口不稳定，改了公共接口，三、用例设计不合理，不能算是自动化。接口自动化要做好的前提，其实就是框架成熟，接口稳定，用例设计合理，满足这些前提以后，沉淀下来的自动化用例，几乎不需要大批量修改，更多的是要针对每条用例，去修改内部的数据，以满足不同场景的测试需要。也就是说，针对某个用例修改这个用例的数据，是更常见的行为。

如果项目变动实在太大，整个自动化都不能用了，不管是做封装还是平行展开，维护量都非常大，耦合度太高的话，反而还不好改。

跟着pytestx学习接口自动化框架设计，更简单，更快速，更高效

https://github.com/dongfanger/pytestx

https://gitee.com/dongfanger/tep-project

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/89970.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

在 AWS 中导入 qcow2 镜像

在 AWS 中导入 qcow2 镜像

文章目录 在 AWS 中导入 qcow2 镜像使用的格式和问题步骤概述前提条件转换镜像格式并上传至 S3创建角色并配置策略策略文件内容创建container.json配置文件导入镜像创建 AMI 并启动实例参考:在 AWS 中导入 qcow2 镜像 当我们在多云环境中部署应用时，有时候可能需要把基于 qem…
阅读更多...
python进行数据分析：数据预处理

python进行数据分析：数据预处理

六大数据类型 见python基本功 import numpy as np import pandas as pd数据预处理 缺失值处理 float_data pd.Series([1.2, -3.5, np.nan, 0]) float_data0 1.2 1 -3.5 2 NaN 3 0.0 dtype: float64查看缺失值 float_data.isna()0 False 1 …
阅读更多...
vue 简单实验 自定义组件 局部注册

vue 简单实验 自定义组件 局部注册

1.概要 2.代码 <html> </html> <script src"https://unpkg.com/vuenext" rel"external nofollow" ></script> <body><div id"counter"><component-a></component-a></div> </body&g…
阅读更多...
海运费查询国际海运费知识-箱讯科技

海运费查询国际海运费知识-箱讯科技

在国际贸易中&#xff0c;海运是一种常见且重要的货物运输方式。了解海运费用及其查询方法以及国际海运费的相关知识对于进出口商和物流从业人员来说至关重要。本文将介绍海运费查询的方法和国际海运费的相关知识&#xff0c;帮助读者更好地理解和应用于实际业务中。 一、海运费…
阅读更多...
CSS中如何实现多列布局？

CSS中如何实现多列布局？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 多列布局&#xff08;Multi-column Layout&#xff09;⭐ column-count⭐ column-width⭐ column-gap⭐ column-rule⭐ column-span⭐ 示例⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧…
阅读更多...
Linux--线程地址空间

Linux--线程地址空间

1.程序地址空间 先来就看这张图 这是一张程序地址分布的图&#xff0c;通过一段代码来证明地址空间的分布情况 编译结果&#xff1a; 可以看出的是&#xff0c;父子进程中对于同一个变量打印的地址是一样的&#xff0c;这是因为子进程以父进程为模板&#xff0c;因为都没有对数…
阅读更多...
工具--录屏软件

工具--录屏软件

记录下录屏软件 ScreenToGif 官网 &#xff1a;https://www.screentogif.com/downloads 我下载的是 Installer 版本。 录屏&#xff0c;默认输出为 gif 。录制的 gif 清晰&#xff0c;且容量低。需要录gif的话主推&#xff01; 录制后输出为 mp4 的话提示要下载 FFmpeg &a…
阅读更多...
Mainline Linux 和 U-Boot编译

Mainline Linux 和 U-Boot编译

By Toradex胡珊逢 Toradex 自从 Linux BSP v6 开始在使用 32位处理器的 Arm 模块如 iMX6、iMX6ULL、iMX7 上提供 mainline/upstream kernel &#xff0c;部分 64位处理器模块如 Verdin iMX8M Mini/Plus 也提供实验性支持。文章将以季度发布版本 Linux BSP V6.3.0 为例介绍如何下…
阅读更多...
GE 8920-PS-DC安全模块

GE 8920-PS-DC安全模块

安全控制&#xff1a; 这个安全模块通常用于实现工业自动化系统中的安全控制功能。它可以监测各种安全参数&#xff0c;如机器运动、温度、压力等&#xff0c;以确保系统在安全范围内运行。 PLC兼容性&#xff1a; 通常&#xff0c;这种安全模块可以与可编程逻辑控制器&#x…
阅读更多...
Docker安装与部署java项目

Docker安装与部署java项目

文章目录 Docker安装与部署java项目 用的宝塔服务器查看容器命令部署 java 项目这是别人用的 用这个要保证 自己docker 有 jdk1.8这个是我自己的 宝塔安装的 jdk1.8 注意 需要把 jshepr 替换成自己的 jar 名字 要小写下面命令有关于 jshepr 都要改成 上面写地自己的jar3&#x…
阅读更多...
WPF读取dicom序列:实现上一帧、下一帧、自动播放、暂停

WPF读取dicom序列:实现上一帧、下一帧、自动播放、暂停

一、整体设计概况 创建WPF程序使用.Net Framework4.8定义Image控件展示图像增加标签展示dcm文件信息规划按钮触发对应的事件：上一帧、下一帧、自动播放、暂停、缩放、播放速率二、页面展示 三、代码逻辑分析 Windows窗体加载Loaded事件：生成初始图像信息Windows窗体加载Mous…
阅读更多...
矢量调制分析基础

矢量调制分析基础

前言 本文介绍VSA 的矢量调制分析和数字调制分析测量能力。某些扫频调谐频谱分析仪也能通过使用另外的数字无线专用软件来提供数字调制分析。然而&#xff0c;VSA 通常在调制格式和解调算法配置等方面提供更大的测量灵活性&#xff0c;并提供更多的数据结果和轨迹轨迹显示。本…
阅读更多...
八月更新 | CI 构建计划触发机制升级、制品扫描 SBOM 分析功能上线！

八月更新 | CI 构建计划触发机制升级、制品扫描 SBOM 分析功能上线！

点击链接了解详情 这个八月&#xff0c;腾讯云 CODING DevOps 对持续集成、制品管理、项目协同、平台权限等多个产品模块进行了升级改进&#xff0c;为用户提供更灵活便捷的使用体验。以下是 CODING 新功能速递&#xff0c;快来看看是否有您期待已久的功能特性&#xff1a; 01…
阅读更多...
【衍射光栅】用于Matlab的交互式衍射光栅模型研究

【衍射光栅】用于Matlab的交互式衍射光栅模型研究

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
Linux：权限

Linux：权限

目录 一、shell运行原理 二、权限 1.权限的概念 2.文件访问权限的相关设置方法 三、常见的权限问题 1.目录权限 2.umsk(权限掩码) 3.粘滞位 一、shell运行原理 1.为什么我们不是直接访问操作系统&#xff1f; ”人“不善于直接使用操作系统如果让人直接访问操作系统&a…
阅读更多...
＜C++＞ 类和对象(中)-类的默认成员函数

＜C++＞ 类和对象(中)-类的默认成员函数

1.类的默认成员函数 默认成员函数&#xff1a;用户没有显式实现&#xff0c;编译器会生成的成员函数称为默认成员函数。 如果一个类中什么成员都没有&#xff0c;简称为空类。 空类中真的什么都没有吗&#xff1f;并不是&#xff0c;任何类在什么都不写时&#xff0c;编译器会…
阅读更多...
基于Jenkins自动打包并部署Tomcat环境

基于Jenkins自动打包并部署Tomcat环境

基于上一章创建部署 Linux下Jenkins安装 &#xff08;最新&#xff09;_学习新鲜事物的博客-CSDN博客 传统网站部署的流程 在运维过程中&#xff0c;网站部署是运维的工作之一。传统的网站部署的流程大致分为:需求分 析-->原型设计-->开发代码-->提交代码--&g…
阅读更多...
【位运算】算法实战

【位运算】算法实战

文章目录 一、算法原理常见的位运算总结 二、算法实战1. leetcode面试题01.01. 判断字符是否唯一2. leetcode268 丢失的数字3. leetcode371 两整数之和4. leetcode004 只出现一次的数字II5. leetcode面试题17.19. 消失的两个数字 三、总结 一、算法原理 计算机中的数据都以二进…
阅读更多...
243：vue+Openlayers 更改鼠标滚轮缩放地图大小，每次缩放小一点

243：vue+Openlayers 更改鼠标滚轮缩放地图大小，每次缩放小一点

第243个 点击查看专栏目录 本示例的目的是介绍如何在vue+openlayers项目中设置鼠标滚轮缩放地图大小，每次滑动一格滚轮，设定的值非默认值1。具体的设置方法，参考源代码。 直接复制下面的 vue+openlayers源代码，操作2分钟即可运行实现效果 文章目录 示例效果配置方式示例源…
阅读更多...
SMC_TRAFO_GantryCutter2 (FB) 带刀片旋向龙门

SMC_TRAFO_GantryCutter2 (FB) 带刀片旋向龙门

裁布机&#xff1a;刀片按XY走向&#xff0c;偏转刀片角度。 pi&#xff1a;目标位置矢量&#xff08;x&#xff0c;y&#xff09;&#xff0c;插值器的输出 v&#xff1a;当前路径切线的矢量&#xff0c;插值器的输出 dOffsetX&#xff1a; x轴的附加偏移 dOffsetY&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023