Jenkins和gitlab实现CICD

1 背景

在开发TracerBackend服务的时候，每次更改代码之后需要推送到gitlab，然后ssh登录到Ubuntu的服务器上部署新的代码。服务成功启动之后，在本地执行测试用例，觉得这一套操作流程还是挺复杂的。想起公司的代码发布流程，只要个人分支的代码测试通过之后，合并到master分支的时候会自动构建和发布还是挺方便的，想着是不是能借鉴下，自己弄一个只要代码提交到gitlab的时候Jenkins自动构建自动发布自动生成测试报告呢。

2 执行过程流程图

在这里插入图片描述

Jenkin是部署在docker中的，毕竟docker部署软件比较方便。但是有个问题docker是在宿主机中的，Jenkins是安装docker容器中的，咱们的TracerBackend服务也是用容器部署的，那安装在Jenkins的容器怎么调用到宿主机的docker呢。

其实有好几种方式可以实现

Jenkins安装插件ssh，通过ssh执行执行宿主机命令
安装Jenkins的将宿主机的docker守护进程和文件夹共享jekins容器中，就可以通过jenkins操作宿主机的docker了
宿主机启动一个服务专门接收命令，执行命令。

我选择了第三种，写了一个RunShellServicer的服务，该服务在宿主机上运行，专门接收命令然后再宿主机上原封不动的执行命令

因为这个服务比较通用不依赖Jenkins，构建工具换成其他的也能使用，或者觉得Jenkins不好用，自己写一个简单服务监控gitlab，giblab有推送的时间，发送请求到监控服务商也能使用RunShellServicer服务在宿主机执行命令。

3 安装Jenkins

3.1 安装jenkins容器

没有安装docker可以看我以前的博客安装docker

ubuntu 中安装docker-CSDN博客

docker pull jenkins/jenkins:lts
docker run  -u root -d --name=jenkins -p 8011:8080 -v/home/wuzhibin/docker/jenkins:/var/jenkins_home jenkins/jenkins:lts
# 检查容器是否启动成功
docker ps |grep jenkins
# 如果未成功目录添加权限继续执行上一个步骤
chmod 777 -R /home/wuzhibin/docker

3.2 登录jenkins

在这里插入图片描述

jenkins选择不按照插件，因为docker中安装docket不是最新的版本，好多插件都是按照失败，需要将docker中的Jenkins更新到最新的版本在按照插件

3.3 更新Jenkins的版本

在这里插入图片描述

更新Jenkins等待更新完成之后重启Jenkins，可以看到jenkin已经更新到了最新的版本2.440.3

3.4 更新jekins的插件镜像安装插件

Index of /jenkins/updates/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

在这里插入图片描述

使用清华的镜像源，找到最新的版本的源更新到Jenkins插件中更新站点中。

在这里插入图片描述

更新完成之后重启jenkins

4 配置gitlab和Jenkins

4.1 jenkins中配置webhook

在这里插入图片描述

在Jenkins中配置gitlab webhook，复制webhook的url和Secret token的值

4.2 gitlab中配置webhook

没有gitlab想使用gitlab管理项目代码可以看这篇博客安装

Docket常见的软件部署1-CSDN博客

在这里插入图片描述

在项目设置中添加webhook填Jenkins生成的url和Secret token， gitlab网络配置中允许网络外发

在这里插入图片描述

点击测试看Jenkins中是否能触发自动构建，能自动构建表示配置成功

5 RunShellServicer服务

import os
import uvicorn
from pydantic import BaseModel
from typing import Union
from fastapi import FastAPI
from fastapi.middleware.cors import CORSMiddleware
from fastapi.staticfiles import StaticFiles
from fastapi.openapi.docs import get_swagger_ui_html
from logger import Logger
import subprocess

logger = Logger.get_logger()

desc = """
执行命令服务
在宿主机上执行传入的命令

"""

app = FastAPI(
    title="执行命令服务",
    docs_url=None)
app.mount("/static", StaticFiles(directory="static"), name="static")


@app.get("/docs", include_in_schema=False)
def custom_swagger_ui_html():
    return get_swagger_ui_html(
        openapi_url=app.openapi_url,
        title=app.title + " - Swagger UI",
        oauth2_redirect_url=app.swagger_ui_oauth2_redirect_url,
        swagger_js_url="/static/swagger-ui-bundle.js",
        swagger_css_url="/static/swagger-ui.css",
    )

app.add_middleware(
    CORSMiddleware,
    allow_origins="*",
    allow_credentials=True,
    allow_methods=["*"],
    allow_headers=["*"],
)


class Body(BaseModel):
    cmd: str  # 命令
    params: Union[str, None] = None  # 参数


@app.post("/")
def run_shell(body: Body):
    try:
        cmd = body.cmd
        params = body.params
        logger.info(f"run {cmd} {params}")
        if os.name == "nt":
            encoding = "gbk"
        else:
            encoding = "utf-8"
        res = subprocess.run(f"{cmd} {params}", shell=True, stderr=subprocess.PIPE, stdout=subprocess.PIPE, encoding=encoding)
        if res.returncode == 0:
            logger.info(f"{cmd} {params} success")
            message = res.stdout
            logger.info(f"result:{message}")
        else:
            logger.error(f"{cmd} {params} failed")
            message = res.stderr
            logger.error(f"result:{message}")
    except Exception as e:
        logger.exception("执行异常")
        message = str(e)
    return message


if __name__ == '__main__':
    uvicorn.run("main:app", host="0.0.0.0", port=8010, workers=1)