测试驱动开发：基于Jenkins+GoTest+HTML的持续化集成

目录

前言        

一、项目框架

1.项目迭代

2.项目时序图

3.项目测试执行

二、项目具体实现

1.创建流水线

2.拉取代码

3.执行测试代码

4.生成测试报告

5.报告内容解读

6.数据统计

7.邮件通知

8.企业微信通知

三、项目遇到的问题

1.go test -args 

2.go test生成html格式的报告

3.数据统计问题

4.相对路径问题

5.错误排查问题

前言        

       目前我们的项目体系流程不够完善，我们针对这一现象引入了“测试驱动开发”观念，在开发测试部署阶段可以节省一部分工作量，对于比较复杂的场景，也可以编写一些测试工具。我们都知道如果仅靠传统的手工测试（偏功能）会存在很多的漏洞，为了提高迭代效率，引入自动化测试、CI/CD，在项目测试阶段、预上线、上线等各个阶段都能快速通过上述手段发现问题，保障产品质量。

     

一、项目框架

        在日常测试过程中，需要验证测试环境&线上环境API接口，为了更方便，研究了通过Jenkins构建自动化项目并生成HTML报告。接下来会详细介绍项目构建步骤和遇到的问题。

1.项目迭代

2.项目时序图

3.项目测试执行

二、项目具体实现

1.创建流水线

(1)新建任务

(2)选择流水线或者复制现有流水线任务

(3)配置流水线

(4)pipeline脚本的基本框架

#!groovy



pipeline {

    agent any



    environment {

        GO_BINARY = "go"

        TEST_REPORT_PATH = "test-report.xml"

    }

    stages {

        stage('checkout') {

            steps {

                sh"""

                    echo "steps one"

                """

            }

        }

        stage('unit-test') {

            steps {

                echo "step two"

            }

        }

        stage('api-test') {

            steps {

                sh """

                   ehco "step three"

                   """

            }

        }

    }

    post {

        always {

            echo "clean over..."

            echo "send email"

        }

        success {

            echo 'Build && Test Succeeded.'

        }

        failure {

            echo 'Build && Test Failured.'

        }

    }

}

对应在jenkins上的阶段视图：

2.拉取代码

repoURL = "git拉取代码地址"

rootPath = "/var/jenkins_work/workspace/pid-openapi-test-report"

repoPath = "${rootPath}/$BUILD_ID"

...

stages {

    stage('checkout') {

        steps {

            sh"""

                export PATH="${arcPath}:${goRoot}:${kubectlRoot}:${makeRoot}:$PATH"

                git clone --depth 1 ${repoURL} ${repoPath}

            """

        }

    }

    ...

}

3.执行测试代码

利用go test命令执行代码。执行go test会进行全代码编译的，会拉取所有的依赖，所以需要提前配置go环境变量。

go test运行指定模块、指定优先级的测试用例，eg：

go test -v ./test/storage/... '-run=^Test+/TestP0' -json

./test/storage/ storage在openapi-go项目中的代码目录

'-run=^Test+/TestP0' ^Test指定Test打头的suite，/TestP0指定该suite下的用例。这样可以将模块storage、用例名称TestP0参数化为MODULE_NAME、PRIORITY，并在jenkins上的参数化构建中进行赋值。

配置完成后go test可以写成这样了：

go test -v ./test/$MODULE_NAME/...   -run="^Test"+"/Test"+$PRIORITY

4.生成测试报告

安装go-test-report

go get github.com/vakenbolt/go-test-report/

执行生成html格式测试报告的命令，会在当前目录生成一个test_report.html

go test -v ./test/$MODULE_NAME/...   -run="^Test"+"/Test"+$PRIORITY   -json | go-test-report

jenkins发布报告的pipeline script：

stage('Report') {           

        steps {

            echo "report"

            publishHTML (target: [

            allowMissing: false,

            alwaysLinkToLastBuild: false,

            keepAll: true,

            reportDir: '$BUILD_ID/test-output',

            reportFiles: 'test_report.html',

            reportName: "HTML Report"

        ])

        }

    }

然后就可以在jenkins查看该报告了

5.报告内容解读

失败的用例是红色，通过的用例是绿色。失败日志需要关注assert部分的日志，包括报错行数、期望值与实际值的比较结果。

6.数据统计

在测试代码执行结果及报告都有了之后就可以统计自已需要的数据，然后放在邮件内容里进行发送。

先分析下html源文件的内容，找到自已想要的数据。

groovy自带解析html格式的库，但是不太好用。这里采用awk解析数据。

注：substr(s,p,n) 返回字符串s从p开始长度为n的部分

def genReportBody() {
    // 生成测试报告内容
    def testReport = readFile("$BUILD_ID/test-output/test_report.html")
    
    // 获取执行时间
    sh(script: 'pwd')
    def duration = sh(script: 'grep "Duration:" '+"$BUILD_ID/test-output/test_report.html"+' | awk \'{print substr($6,9,length($6)-17)}\'', returnStdout: true).trim()
    echo duration
    def runtime = duration.split("\\.")[0].trim()
    echo runtime

    // 获取总数量
    def total = sh(script: 'grep "Total:" '+"$BUILD_ID/test-output/test_report.html"+' | awk \'{print substr($5,9,length($5)-26)}\'', returnStdout: true).trim()

    // 获取通过率
    def passedCount = sh(script: 'grep "Passed:" '+"$BUILD_ID/test-output/test_report.html"+' | awk \'{print substr($5,9,length($5)-17)}\'', returnStdout: true).trim()
    def skippedCount = sh(script: 'grep "Skipped:" '+"$BUILD_ID/test-output/test_report.html"+' | awk \'{print substr($5,9,length($5)-17)}\'', returnStdout: true).trim()
    def failedCount = sh(script: 'grep "Failed:" '+"$BUILD_ID/test-output/test_report.html"+' | awk \'{print substr($5,9,length($5)-17)}\'', returnStdout: true).trim()
    def passedRate = String.format("%.2f", passedCount.toInteger()/(total.toInteger()-skippedCount.toInteger()) * 100)

7.邮件通知

组装邮件中的内容

 // 生成测试报告
    def reportContent = """
        <h2>OpenAPI Test Report (${MODULE_NAME})</h2>
        <p>Environment: ${ENV}</p>
        <p>Test Time: ${runtime}s</p>
        <h3>Test Cases:</h3>
        <ul>
            <a href="https://jenkins地址/view/pid/job/${JOB_NAME}/$BUILD_ID/HTML_20Report/" target="_blank">https://jenkins地址/view/pid/job/${JOB_NAME}/$BUILD_ID/HTML_20Report/</a>
            
        </ul>
        <p>Pass Rate: ${passedRate}% </p>
        <p>Test Range: ${PRIORITY}</p>
        <h3>Failures: ${failedCount}</h3>
    """

发送邮件，在发送邮件前将无用的测试数据清除

post {

        always {

            sh """

                mv ${repoPath}/test-output ~/temp

                rm -rf ${repoPath}/*

                mv ~/temp/test-output ${repoPath}/

            """

            echo "clean over..."

            emailext body:  genReportBody(),

                    subject: 'Test Report',

                    // to: 'env.RECIPIENTS',

                    to: '${RECIPIENT_LIST}',

                    mimeType: 'text/html'

            // from: '邮件发送地址'

        }

        success {

            echo 'Build && Test Succeeded.'

        }

        failure {

            echo 'Build && Test Failured.'

        }

}

8.企业微信通知

三、项目遇到的问题

1.go test -args 

利用该命令自定义参数时发现-args后面所有东西都当成agrs的值，且阻断后面所有指令的执行。后来在stackoverflow看见一个人发了同样的问题，我想到去看下官方说明

In addition to the build flags, the flags handled by 'go test' itself are:



-args

    Pass the remainder of the command line (everything after -args)

    to the test binary, uninterpreted and unchanged.

    Because this flag consumes the remainder of the command line,

    the package list (if present) must appear before this flag.

上面的everything after -args和执行实际效果是一样。这样通过命令行方式来切换环境的做法是行不通，于是采用多个配置文件的方式，全部存放在jenkins机器的~/conf目录。

切换方式

if [ $ENV = "test" ]

then

    echo 'cp test .env'

    cp /home/jenkins/conf/.env ${repoPath}/test

    cp /home/jenkins/conf/.env.storage ${repoPath}/test/storage/v1/.env

elif [ $ENV = "dev" ]

then

    #statements

    echo 'cp dev .env'

    cp /home/jenkins/conf/.env.dev ${repoPath}/test/.env

    cp /home/jenkins/conf/.env.storage.dev ${repoPath}/test/storage/v1/.env

    

elif [ $ENV = "prod" ]

then

    echo 'cp prod .env'

    cp /home/jenkins/conf/.env.prod ${repoPath}/test/.env

    cp /home/jenkins/conf/.env.storage.prod ${repoPath}/test/storage/v1/.env

fi

2.go test生成html格式的报告

最开始也是打算接入allure报告，但是发现go test并不支持，所以采用了go-test-report。发布的第一版的go test report时并不是长这样的

而是像下面这样不带css样式的

解决方法：在jenkins-->系统管理-->脚本命令行，输入以下命令

System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "")

3.数据统计问题

网上有很多groovy统计xml格式的文件，没找到能很好解析html格式的工具，想到awk这个工具。

def passedCount = sh(script: 'grep "Passed:" '+"$BUILD_ID/test-output/test_report.html"+' | awk \'{print substr($5,9,length($5)-17)}\'', returnStdout: true).trim()

4.相对路径问题

我们用IDE编写用例时直接就可以执行了，这种情况下go会把该用例所在的目录当成pwd目录；而流水线中go test是在项目根目录下执行的，这时go是把项目根目录当成pwd目录的。这样用例中使相对路径eg:.env、../.env等都会执行失败。

解决方法：利用runtime获取当前执行路径，然后代码中生成项目根目录，以该路径为基点再去拼接文件的路径，尽量不要使相对路径。

5.错误排查问题

后面发现现有的脚本case编写如果有一个报错，全部都是红色，找到报错点不是很方便，修改脚本case为：

func (s *JobBatchGetSuite) TestP0_Normal() {
	s.Run("TestSuccessJobBatchGet", func() {
		s.TestSuccessJobBatchGet()
	})
}

func (s *JobBatchGetSuite) TestP1_Normal() {
	s.Run("TestJobBatchGetJobIdsTooMuch", func() {
		s.TestJobBatchGetJobIdsTooMuch()
	})
}

在jenkins上执行后，报告展示更为直观。

今天的分享就到此结束喽~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/330174.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MyBatisPlus学习笔记四-扩展功能

MyBatisPlus学习笔记四-扩展功能

1、代码生成器 1.1、官方的1 1.3、官方的2-idea插件 1.3、非官方的-idea插件 2、静态工具 先查询&#xff0c;再分组 3、逻辑删除 4、枚举处理器 5、JSON处理器
阅读更多...
二、ArcGIS Pro SDK 开发环境配置踩坑

二、ArcGIS Pro SDK 开发环境配置踩坑

上篇写了如何配置开发环境&#xff0c;也确实是配置好了&#xff0c;激动的就睡觉去了&#xff0c;万万没想到&#xff0c;今天当要创建工程的时候&#xff0c;结果发现创建不了&#xff0c;弹出了如下错误&#xff1a; 很郁闷&#xff0c;于是有查找了资料发现&#xff1a; 是…
阅读更多...
2024年华数杯国际赛B题超详细解题思路

2024年华数杯国际赛B题超详细解题思路

ICM B题&#xff1a;光伏发电 该题目出题的难度与方向都与美赛ICM的题型高度相似&#xff0c;将本次竞赛当做美赛的练手赛&#xff0c;个人认为是非常合适的一种选择。同时28号就可以出成绩&#xff0c;也可以在美赛前实现查漏补缺&#xff0c;提前预祝大家比赛顺利&#xff0…
阅读更多...
如何用WhatsApp做外贸？

如何用WhatsApp做外贸？

WhatsApp 可帮助企业和客户快速建立个性化的联系&#xff0c;进行产品和服务类营销推广&#xff0c;并在购物过程中及时回应和解决客户的问题。 WhatsApp Business还可以帮助大中型企业提供客户服务支持&#xff0c;并向客户发出消息通知。 如果是中小企业&#xff0c;可以使用…
阅读更多...
Centos 8 安装 Elasticsearch

Centos 8 安装 Elasticsearch

简介&#xff1a;CentOS 8是一个基于Red Hat Enterprise Linux&#xff08;RHEL&#xff09;源代码构建的开源操作系统。它是一款稳定、可靠、安全的服务器操作系统&#xff0c;适合用于企业级应用和服务的部署。CentOS 8采用了最新的Linux内核和软件包管理系统&#xff0c;提供…
阅读更多...
SAP 销售订单审批状态（查询/修改）

SAP 销售订单审批状态（查询/修改）

销售订单审批状态启用后&#xff0c;前端显示界面如下图 销售订单审批状态读取&#xff1a;STATUS_READ 销售订单审批状态修改&#xff1a;I_CHANGE_STATUS 销售订单审批状态读取 代码样例如下&#xff1a; DATA: lv_objnr TYPE vbak-objnr,lv_objnr_t TYPE jsto-objnr,l…
阅读更多...
深度学习记录--正则化(regularization)

深度学习记录--正则化(regularization)

什么是正则化&#xff1f; 正则化(regularization)是一种实用的减少方差(variance)的方法&#xff0c;也即避免过度拟合 几种正则化的方法 L2正则化 又被称为权重衰减(weight dacay) 在成本函数中加上正则项&#xff1a; 其中 由于在w的更新过程中会递减&#xff0c;即权…
阅读更多...
【备战蓝桥杯】吃奶酪问题 / 超硬核，文附template拓展知识！

【备战蓝桥杯】吃奶酪问题 / 超硬核，文附template拓展知识！

蓝桥杯备赛 | 洛谷做题打卡day9 文章目录 蓝桥杯备赛 | 洛谷做题打卡day9再来了解一下状压dp**简介(Introduction)****描述(Description)** - 吃奶酪题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示数据规模与约定提示 * template拓展知识我的一些话 【引入】今天…
阅读更多...
广州市工信局、天河区商务金融局及广州专精特新促进会走访思迈特

广州市工信局、天河区商务金融局及广州专精特新促进会走访思迈特

2024年1月11日下午&#xff0c;广州市工信局、天河区商务金融局及广州专精特新促进会相关负责人莅临广州思迈特软件总部调研指导&#xff0c;思迈特软件总裁兼COO姚诗成代表公司热情接待&#xff0c;并陪同调研。 调研组实地参观了思迈特软件&#xff0c;深入了解了思迈特发展历…
阅读更多...
通过OpenIddict设计一个授权服务器03-客户凭证流程

通过OpenIddict设计一个授权服务器03-客户凭证流程

在本部分中&#xff0c;我们将把 OpenIddict 添加到项目中&#xff0c;并实施第一个授权流程&#xff1a;客户端凭证流。 添加 OpenIddict 软件包 首先&#xff0c;我们需要安装 OpenIddict NuGet 软件包 dotnet add package OpenIddict dotnet add package OpenIddict.AspN…
阅读更多...
springboot mybatis-plus swing实现报警监听

springboot mybatis-plus swing实现报警监听

通过声音控制报警器&#xff0c;实现声光报警&#xff0c;使用beautyeye_lnf.jar美化界面如下 EnableTransactionManagement(proxyTargetClass true) SpringBootApplication EnableScheduling public class AlarmWarnApplication {public static void main(String[] args) …
阅读更多...
大数据毕业设计：基于python美食推荐系统+爬虫+Echarts可视化+协同过滤推荐算法+Django框架（源码）✅

大数据毕业设计：基于python美食推荐系统+爬虫+Echarts可视化+协同过滤推荐算法+Django框架（源码）✅

毕业设计&#xff1a;2023-2024年计算机专业毕业设计选题汇总&#xff08;建议收藏&#xff09; 毕业设计&#xff1a;2023-2024年最新最全计算机专业毕设选题推荐汇总 &#x1f345;感兴趣的可以先收藏起来&#xff0c;点赞、关注不迷路&#xff0c;大家在毕设选题&#xff…
阅读更多...
Net Core Ocelot+Consul实现网关、服务注册、服务发现

Net Core Ocelot+Consul实现网关、服务注册、服务发现

什么是Ocelot? Ocelot是一个开源的ASP.NET Core微服务网关&#xff0c;它提供了API网关所需的所有功能&#xff0c;如路由、认证、限流、监控等。 Ocelot是一个简单、灵活且功能强大的API网关&#xff0c;它可以与现有的服务集成&#xff0c;并帮助您保护、监控和扩展您的微…
阅读更多...
【每周AI简讯】GPT-5将有指数级提升，GPT Store正式上线

【每周AI简讯】GPT-5将有指数级提升，GPT Store正式上线

AI7 - Chat中文版最强人工智能 OpenAI的CEO奥特曼表示GPT-5将有指数级提升 GPT奥特曼参加Y-Combinator W24启动会上表示&#xff0c;我们已经非常接近AGI。GPT-5将具有更好的推理能力、更高的准确性和视频支持。 GPT Store正式上线 OpenAI正式推出GPT store&#xff0c;目前…
阅读更多...
Android车载系统Car模块架构链路分析

Android车载系统Car模块架构链路分析

一、模块主要成员 CarServiceHelperService SystemServer 中专门为 AAOS 设立的系统服务&#xff0c;用来管理车机的核心服务 CarService。该系统服务的具体实现在 CarServiceHelperServiceUpdatableImpl CarService Car模块核心服务APP&#xff0c;Android 13版本开始分为…
阅读更多...
Java-NIO 开篇（1）

Java-NIO 开篇（1）

NIO简介 高性能的Java通信&#xff0c;离不开Java NIO组件&#xff0c;现在主流的技术框架或中间件服务器&#xff0c;都使用了Java NIO组件&#xff0c;譬如Tomcat、 Jetty、 Netty、Redis、RabbitMQ等的网络通信模块。在1.4版本之前&#xff0c; Java IO类库是阻塞式IO&…
阅读更多...
0间隔24h采集线报+源码的资源网

0间隔24h采集线报+源码的资源网

一款网站程序零间隔24h采集线报源码的资源网&#xff0c;更新下载类目的采集 及 导入&#xff0c;这款网站程序&#xff1a;jizhiCMS 高仿新版某刀资源网模板进行自动采集。 安装方法&#xff1a; 将根目录文件上传服务器 将根目录文件的sql.sql导入mysql数据库 环境需要支…
阅读更多...
springmvc上传与下载

springmvc上传与下载

文件上传 结构图 导入依赖 <dependency><groupId>jstl</groupId><artifactId>jstl</artifactId><version>1.2</version></dependency><dependency><groupId>org.springframework</groupId><artifactId…
阅读更多...
Golang 搭建 WebSocket 应用（二） - 基本群聊 demo

Golang 搭建 WebSocket 应用（二） - 基本群聊 demo

上一篇文章中&#xff0c;我们已经了解了 gorilla/websocket 的一些基本概念和简单的用法。 接下来&#xff0c;我们通过一个再复杂一点的例子来了解它的实际用法。 功能 这个例子来自源码里面的 examples/chat&#xff0c;它包含了以下功能&#xff1a; 用户访问群聊页面的…
阅读更多...
基于JavaSocket重写Dubbo网络传输层

基于JavaSocket重写Dubbo网络传输层

前言 我们知道&#xff0c;位于 Serialize 层上面的是负责网络传输的 Transport 层&#xff0c;它负责调用编解码器 Codec2 把要传输的对象编码后传输、再对接收到的字节序列解码。 站在客户端的角度&#xff0c;一次 RPC 调用的流程大概是这样的&#xff1a; Invoker 发起 …
阅读更多...
最新文章

Copyright @ 2022~2023