在Google Kubernetes集群创建分布式Jenkins(二)

上一篇博客在Google Kubernetes集群创建分布式Jenkins(一)-CSDN博客我介绍了如何在GCP的K8S集群上部署一个分布式的Jenkins，并实现了一个简单的Pipeline的运行。

在实际的开发中，我们通常都会按照以下的CICD流程来设置Pipeline

在我司的实际实践中，通常包括如下的步骤：

往Git仓库提交开发分支的代码，创建Pull request来进行code review
Git仓库配置hook，当收到PR时触发jenkins任务，拉取代码到Jenkins进行编译和UT检查
Jenkins把UT检查结果回写到PR的comments，如果UT检查通过，自动Approve+1
当其他人对PR的code review完成，Approve+2，自动合并代码到主分支。
合并到主分支触发Jenkins的打包任务，Jenkins拉取主分支代码运行打包任务
打包任务完成后，把打包的镜像推送到registry
更新部署的manifest，更新镜像的标签
把应用部署到GKE

这里我将按照以上任务来设置相应的pipeline

Jenkins安装插件

要完成以上的任务，我们需要安装以下的一些插件

Generic webhook trigger plugin

Github plugin

Credential binding plugin

Git仓库设置webhook

我选择GitHub作为示例，在github上建立一个简单的Java Springboot项目，实现一个rest接口，完成一个简单的计算任务，代码仓库在https://github.com/gzroy/webdemo.git。在这个repo的页面上，点击Settings->webhooks，然后选择添加webhook，在Payload URL里面输入jenkins URL，例如我的Jenkins URL是http://123.123.123.123/jenkins/generic-webhook-trigger/invoke?token=abc，ContentType选择application/json，然后点击“Let me select individual events”，选择触发hook的事件。这里我选择Pull request。

设置CICD项目

因为我打算以后其他项目都统一用这个CICD的流程，所以新建一个CICD的项目，把所需要的Jenkins pipeline的代码都放到这个项目中。以后其他项目只需要引用这个项目的相关文件即可完成CICD的任务。代码仓库在https://github.com/gzroy/cicd.git

创建PR自动触发测试的Pipeline

我们要实现的功能是，当开发者新建一个分支，修改完代码，commit提交并创建PR之后，应该要自动触发CI的pipeline来进行UT测试，并把测试结果写到PR的comments里面，这样其他reviewer可以查看这个测试的结果。

在CICD项目里面，我新建了一个ut_pipeline.groovy文件，内容如下：

pipeline {
  agent{
    kubernetes{
      yaml '''
        apiVersion: v1
        kind: Pod
        spec:
          containers:
          - name: maven
            image: maven:3.8.3-openjdk-17
            tty: true
            imagePullPolicy: "IfNotPresent"
            command:
            - cat
        '''
    }
  }
  triggers {
    GenericTrigger(
      genericVariables: [
        [key: 'action', value: '$.action', expressionType: 'JSONPath'],
        [key: 'clone_url', value: '$.pull_request.base.repo.clone_url', expressionType: 'JSONPath'],
        [key: 'ref', value: '$.pull_request.head.ref', expressionType: 'JSONPath'],
        [key: 'sha', value: '$.pull_request.head.sha', expressionType: 'JSONPath'],
        [key: 'number', value: '$.number', expressionType: 'JSONPath'],
        [key: 'comments_url', value: '$.pull_request.comments_url', expressionType: 'JSONPath']
      ],
      token: 'abc'
    )
  }
  environment {
    CREDENTIAL = credentials("${CREDENTIAL_ID}")
  }
  stages{
    stage("git checkout") {
      when {
        expression {
          return action=="opened" || action=="synchronize"
        }
      }
      steps {
        script {
          git(
            url: clone_url,
            credentialsId: CREDENTIAL_ID,
            branch: ref
          )
        }
      }
    }
    stage("test"){
      when {
        expression {
          return action=="opened" || action=="synchronize"
        }
      }
      steps{
        container('maven') {
          script{
            sh 'mvn test '
          }
        }
      }
      post {
        failure {
          sh """
          (curl -L -X POST \
          -H \"Accept: application/vnd.github+json\" \
          -H \"Authorization: Bearer ${env.CREDENTIAL_PSW}\" \
          -H \"X-GitHub-Api-Version: 2022-11-28\" \
          ${comments_url} \
          -d \'{\"body\": \"UT test failure for commit ${sha}\"}\')
          """
        }
        success {
          sh """
          (curl -L -X POST \
          -H \"Accept: application/vnd.github+json\" \
          -H \"Authorization: Bearer ${env.CREDENTIAL_PSW}\" \
          -H \"X-GitHub-Api-Version: 2022-11-28\" \
          ${comments_url} \
          -d \'{\"body\": \"UT test success for commit ${sha}\"}\')
          """
        }
      }
    }
  }
}

解释一下这个程序。在Agent模块里面定义了一个运行Jenkins Agent的Pod，其中container除了默认的agent container之外，还包括一个maven container，在test这个stage里面，将运行这个maven container的mvn test命令来执行UT测试。

在triggers模块中，定义了GenericTrigger从webhook的回调API中获取body的数据，把其中需要的数据赋值到变量，给后续的stage使用。

在environment模块中，定义了一个名为CREDENTIAL的全局变量，通过credentials helper函数来获取Jenkins保存的凭证，这里的CREDENTIAL_ID是在Jenkins System里面定义的全局变量。注意这里必须要加上双引号，使得Groovy可以预先用Jenkins变量的值来替代这个变量，如果用单引号则不行。

在Stages模块中，定义了两个Stage，这两个操作都是当PR新建或已有PR上发生新的commit时才执行。第一个Stage执行从Github仓库checkout的操作。第二个Stage是执行maven测试，在Post里面定义了测试成功或失败，需要给PR加上相应的comment。这里都使用了Github API来进行操作，我们需要预先把Github用户的access token保存到Jenkins的credentials中。

PR review approve自动触发打包的pipeline

创建一个package_pipeline.groovy的文件，当收到Webhook回调时，判断如果是approve的事件，那么将自动执行合并代码分支到主分支的操作，然后拉取主分支的代码进行package，并进行Docker构建，然后把镜像推送到相应的registry。

待补充

部署镜像的pipeline

采用Gitops的方式来部署。

待补充

设置Pipeline

回到Jenkins的控制台，新建一个webdemo_ut的Job，选择Pipeline类型，然后在Github项目里面填入https://github.com/gzroy/webdemo.git，在构建触发器里面选择Generic Webhook Trigger，Token也要填上，这个Token需要和Github配置webhook的token一致。定义Pipeline里面选择Pipeline script from SCM，填入CICD项目的地址和Script文件的路径，Branch to build里面输入*/*，然后保存即可。

之后我们在https://github.com/gzroy/webdemo.git这个项目上可以执行新建分支，然后改动代码，提交之后创建一个PR，可以看到Jenkins将自动触发一个任务，进行测试后把结果回写到PR的comments中。

新建一个webdemo_package的job，配置和上面类似，只是pipeline script选择package_pipeline.groovy文件。当我们Approve PR review之后，可以看到Jenkins将自动触发package任务，生成镜像并推送到registry。