提到 CI 工具，首先想到的就是“CI 界”的大佬--]enkjns,虽然在云原生爆发的年代,蹦出来了很多云原生的 CI 工具,但是都不足以撼动 Jenkins 的地位。在企业中对于持续集成、持续部署的需求非常多,并且也会经常有-些比较复杂的需求,此时新生的 CI 工具不足以支撑这些很复杂的需求。但是 Jenkins丰富的插件基本上可以满足任何场景。
一、流水线概念
1.什么是流水线
Jenkins 流水线是一套插件,它支持在 Jenkins 中实现和集成持续交付流水线(continuousDeliveryPipeline)。流水线提供了一组可扩展的工具,用于通过 Pipeline Dsl(DomainSpecific Language)将简单到复杂的交付流水线以代码的形势展现，类似于基础设施即代码。
持续交付流水线会经历一个复杂的过程:从版本控制、向用户和客户提交软件、软件的每次变更(提交代码到仓库)到软件发布(Release)。这个过程包括以一种可靠并可重复的方式构建软件，以及通过多个测试和部署阶段来开发构建好的软件(称为 Build)。
Jenkins 流水线的定义被写在一个文本文件中(一般为 Jenkinshle),该文件“定制”了整个构建软件的过程。Jenkinsfile 也可以被提交到项目的代码仓库中，在 Jenkjns 中可以直接引用。将持续交付流水线作为应用程序的一部分，像其他代码一样进行版本化和审查，这是流水线即代码的基础。
创建 Jenkinsfile 并提交到代码仓库中的好处如下:
- 自动为所有分支创建流水线构建过程。
- 在流水线上进行代码复查/迭代。
- 对流水线进行审计跟踪。
- 流水线的代码可以被项目的多个成员查看和编辑。
- 可以对 Jenkinsfile 进行版本控制。
2.Jenkins 流水线组成
Jenkins 流水线主要分为声明式分和脚本式两种，包含 pipline(流水线)、node(节点)、stage(阶段)、step(步骤)等区块。
(1)pipeline
pipeline 是用户定义的一个持续交付(CD)流水线模型。流水线的代码定义了整个构建过程，包括构建、测试和交付应用程序的阶段。另外，pipeline 块是声明式流水线语法的关键部分。
(2)node
node 是一个机器，它是 Jenkins 环境的-部分，另外，node 块是脚本化流水线语法的关键部分。
(3)stage
stage 块定义了在整个流水线的执行任务中概念不同的子集(比如 Bujld、Test、Deploy 阶段)它被许多插件用于可视化 Jenkins 流水线当前的状态/进展。
(4)step
本质上是指通过一个单一的任务告诉 Jenkins 在特定的时间点需要做什么，比如要执行 shel1 命令,可以使用 Sh SHELL_COMMAND。其运行流程如下图所示:
从上文可以了解,Jenkins 流水线分为脚本式和声明式,而声明式是“新一代”的流水线，比脚本式更加灵活,可读性更强,并且声明式流水线支持以图形化的方式进行编辑,所以声明式流水线是着重学习的对象。
3.创建一个简单的流水线
(1)创建Pipeline项目
(2)选择模板
在流水线的定义中选择“Pipline script",模板使用“Hello World"
(3)生成代码
- agent:用于声明流水线的执行环境
- stages:代表整个流水线的所有执行阶段。通常 stages 只有1个，里面包含多个 stage
- stage:代表流水线中的某个阶段，可能出现n个。一般分为拉取代码，编译构建，部署等阶段。
- steps:代表一个阶段内需要执行的逻辑。steps 里面是 shell脚本，git 拉取代码，ssh 远程发布等任意内容。
(4)修改模板代码
编写一个简单声明式 Pipeline:
pipeline {
agent any
stages {
stage('拉取代码') {
steps {
echo '拉取代码'
}
}
stage('编译构建') {
steps {
echo '编译构建'
}
}
stage('项目部署') {
steps {
echo '项目部署'
}
}
}
}
(5)保存后点击构建
可以看到阶段视图
二、pipeline代码生成器
1.设备清单
2.实验环境设置
(1)在web01 主机上安装 httpd
[root@localhost ~]# hostnamectl set-hostname web01
[root@localhost ~]# bash
[root@web01 ~]# yum -y install httpd
[root@web01 ~]# setenforce 0
[root@web01 ~]# systemctl stop firewalld
[root@web01 ~]# systemctl start httpd(2)在Jenkins 中添加 SSH server
“Manage Jenkins”-->“system”，添加“Publish over SSH”，
点击 SSH Servers 的新增按钮，添加一个 SSH 的主机。参数如下图所示，并保存设置
2.添加 gitlab 项目
(1)导入项目
导入 gitee 中的项目:https://gitee.com/kgc-wjq/qqmusic.git
(2)复制仓库 URL
复制出该项目的 URL:http://192.168.10.105/root/qqmusic.git
3.编辑pipeline 代码
(1)修改配置
进入刚才创建的 pipeline 项目，点击“配置”选项
(2)在流水线页面点击“流水线语法”
(3)生成拉取代码
在片段生成器中选择示例步骤为“git:Git”并填写仓库 URL
将生成的代码复制出来，填写在第一个阶段的 steps 中，如下所示。
(4)生成项目部署代码
设置参数如下:
在片段生成器中的示例步骤中选择“step:General Build step”
Build Step 选择“Send build artifacts over SSH”
SSH Server 部分的Name:web1
Transfer set 部分的“Source files”填写“**/*”
Remote directory填写“//var/www/html"
点击“生成流水线脚本”，将得到的代码填写到项目部署部分的 steps 中，如下所示:
(5)此部分完整pipeline 代码
4.部署项目
(1)将代码填写到流水线代码区域
(2)保存后点击构建按钮
通过阶段视图观察构建流程和结果。
(3)浏览器查看构建结果
5.也可以将 pipeline 放在 git 仓库
(1)创建一个文件“Jenkinsfile”，将刚在的 pipline 代码填写到此文件
注意:Jenkinsfile 首字母要大写
(2)将这个文件上传到代码仓库的根目录下
(3)设置流水线
在定义中选择“Pipline script from ScM”，SCM 使用“Git”，填写好仓库 URL，然后保存。
备注:SCM 叫做源代码控制。
(4)点击构建按钮，查看结果
三、pipeline 语法说明
1.声明式 pipeline
声明式 Pipeline 是最近添加到 Jenkins 流水线的，它在流水线子系统之上提供了一种更简单，更有主见的语法。所有的声明式 Pipeline 都必须包含一个 pipeline 块中，比如:
pipeline {
//run
}在声明式 Pipeline 中的基本语句和表达式遵循 Groovy 的语法。但是有以下例外:
- 流水线顶层必须是一个块，特别是 pipeline{}。
- 不需要分号作为分割符，是按照行分割的。
- 语句块只能由阶段、指令、步骤、赋值语句组成。例如:input 被视为 input()。
(1)agent(代理)
agent 指定了流水线的执行节点。
参数:
any 在任何可用的节点上执行 pipeline。
none 没有指定 agent 的时候默认。
label 在指定标签上的节点上运行 Pipeline。
node 允许额外的选项。
这两种是一样的
agent { node { label 'labelname' }}
aget { label'labelname '}(2)post
根据流水线或阶段的完成情况而运行(取决于流水线中post 部分的位置)。 post 支持以下post-condition 块中的其中之-:always,changed,failure,success,unstable,和 aborted.这些条件块允许在 post 部分的步骤的执行取决于流水线或阶段的完成状态。
always 无论流水线或者阶段的完成状态。
changed 只有当流水线或者阶段完成状态与之前不同时。
failure 只有当流水线或者阶段状态为”failure”运行。
success 只有当流水线或者阶段状态为”success”运行。
unstable 只有当流水线或者阶段状态为”unstable”运行。例如:测试失败。
aborted 只有当流水线或者阶段状态为”aborted“运行。例如:手动取消。
代码举例:
(3)stages(阶段)
包含一系列一个或多个 stage 指令，建议 stages 至少包含一个 stage 指令用于连续交付过程的每个离散部分,比如构建，测试，和部署。
pipeline {
agent any
stages {
stage('Example') {
steps {
echo 'Hello World'
}
}
}
}(4)steps(步骤)
step 是每个阶段中要执行的每个步骤。
四、pipeline构建Maven项目
1.设备清单
2.环境设置
(1)生成密钥对并将公钥同步到 web 主机
[root@jenkins ~]# ssh-keygen
[root@jenkins ~]# ssh-copy-id 192.168.10.101(2)在 gitlab 中导入 maven 项目
导入项目:https://gitee.com/kgc-wjq/mall.git
(3)修改项目 pom 文件代码
在本案例中，需要让 jenkins 对 maven 项目制作镜像,退推送到 harbor,因此，需要修改 pom 文件，将 docker 主机的地址修改为 jenkins 自己的地址，这样就可以在 jenkins 主机上生成镜像了。需要提前在 jenkins 主机上安装 docker 环境。
(4)复制该项目的 gitlab 仓库 URL
将仓库 URL 复制出来:
http://192.168.10.105/root/mall.git
(5)设置 docker 环境的私有仓库地址
jenkins 主机打包好的镜像需要推送到 Harbor，远程 docker 主机需要拉取此镜像，因此，需要在所有的 Docker 主机上设置好私有经常仓库。
vim /etc/docker/daemon.json
{
"registry-mirrors":["http://registry.docker-cn.com"l,
"exec-opts":[native.cgroupdriver=systemd"],
"insecure-registries":["192.168.10.106"]
}[root@mall ~]# systemctl daemon-reload
[root@mall ~]# systemctl restart docker3.生成 pipline 代码
(1)在jenkins 中创建一个 pipline 项目，名称为“mall”
(2)生成拉取代码
在片段生成器中选择示例步骤为“git:Git”并填写仓库 URL
将生成的代码填写到 steps 区域，如下所示:
stage('拉取代码'){
steps {
git 'http://192.168.10.105/root/mall.git'
}
}(3)编辑maven 构建代码
(4)生成项目部署代码
设置参数如下:
在片段生成器中的示例步骤中选择“sshPublisher:Send build artifacts over SSH”
SSH Server 部分的Name:mall
Transfer Set 部分的“Source files”填写“tartget/dist/*.tar.gz其他为空
点击“生成流水脚本”，生成项目部署部分的代码，代码如下:
stage('项目部署'){
steps {
sshPublisher(publishers:sshPublisherDesc(configName:'mal1transfers:sshTransfer(cleanRemote:false,excludes:execCommand :execTimeout:120000flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator:,+',remoteDirectory:''，remoteDirectorySDF:false，removePrefix:''，sourceFiles:tartget/dist/*.tar.gz')],false，usePromotionTimestamp:useWorkspaceInPromotion:false,verbose:false)])
echo'项目部署结束'
}
}(5)编写推送镜像代码
此部分代码的作用是利用 jenkins 登录 harbor,并将生成的镜像 push 到 harbor 上,注意需要提前在 harbor 主机上创建一个名称为“kubernetes”的项目，用于接收镜像。
(6)编写脚本同步与执行代码
利用 jenkins 将容器的启动脚本推送到远程 docker 主机,注意需要在 jenkins 和 docker 主机设置ssh 免密环境。
4.编辑容器启动脚本
在 jenkins 主机的 root 家目录下创建一个目录“mall-sh-harbor”将编写的容器启动脚本放置在此目录中。
(1)编辑mall-admin 启动脚本
vim /root/mall-sh-harbor/mall-admin.sh
#!/usr/bin/env bash
image name='192.168.10.106/kubernetes/mal1-admin:1.0-SNAPSHOT
docker push ${image name}
app_name='mall-admin
docker stop ${app_name}
echo'----stop container----'
docker rm ${app name}
echo'----rm container----'
docker rmi`docker imagesgrep noneawk '{print $3}
echo'----rm none images---'
docker run -p8080:8080--name ${app_name}
--link mysql:db
-e TZ="Asia/Shanghai"
-v /etc/localtime:/etc/localtime
-v /mydata/app/${app_name}/logs:/var/logs
-d ${image name}
echo '----start container----'(2)编辑mall-search.sh 启动脚本
(3)编辑mall-portal 启动脚本
5.运行pipeline
(1)将编辑好的pipeline 代码填写到流水线中
(2)保存后点击构建并查看阶段视图
(3)查看 docker 主机的容器运行状态
(4)查看mall 商城后台管理系统
http://192.168.10.101:8080/swagger-ui/
