目录
一、CI/CD介绍
二、持续集成与持续交付
持续集成(CI)
持续交付(CD)
持续集成的组成要素
持续集成的好处
持续集成的流程
三、Gitlab简介与特点
四、Gitlab CI/CD工作原理
五、Gitlab的部署与安装
安装依赖环境
Gitlab安装
修改配置文件
重新加载配置
浏览器访问:http://192.168.80.10:82 ,如果显示 502,稍等片刻再刷新
六、Jenkins简介
七、Jenkins特点
八、Jenkins安装和持续集成环境配置
解压
目录切到/usr/local下,把jdk的解压文件添加到此目录下
在环境变量中配置jdk
在 /usr/lib/systemd/system/jenkins.service 文件中修改用户名和端口
重启jenkins
浏览器访问
中文插件
修改Jenkins插件下载地址
修改地址文件,替换为国内插件地址
九、Jenkins 构建 Maven 项目
解压
加入maven信息
Jenkins全局工具配置
maven配置
Jenkins 全局变量
Jenkins凭证管理
修改 Maven 的 settings.xml
十、Tomcat 安装和配置
设置终端访问
十一、Jenkins–Pipeline流水线项目构建
Pipeline简介
安装Pipeline插件
拉取代码
一、CI/CD介绍
- CI(Continuous integration,中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了 新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确 地集成在一起。
- CD(Continuous Delivery, 中文意思持续交付)是在持续集成的基础上,将集成后的代码部署到更贴近 真实运行环境(类生产环境)中。比如,我们完成单元测试后,可以把代码部署到连接数据库的Staging环 境中更多的测试。如果代码没有问题,可以继续手动部署到生产环境。
二、持续集成与持续交付
持续集成(CI)
- 集成团队中每个开发人员提交的代码到代码存储库中。
- 开发人员在merge或者pull请求中合并拉去新的代码。
- 在提交或者合并更改到代码库之前,会触发了构建,测试和新代码验证的管道。
- CI 可帮助您在开发周期的早期发现并减少错误。
持续交付(CD)
- 可通过结构化的部署管道确保将经过CI验证的代码交付给您的应用程序。
- CD可以将经过验证的代码更快地移至您的应用程序。持续集成的组成要素
持续集成的组成要素
- 1、一个自动构建过程, 从检出代码、 编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的, 无需人工干预。
- 2、一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,一般 使用SVN或Git。
- 3、一个持续集成服务器, Jenkins 就是一个配置简单和使用方便的持续集成服务器。
持续集成的好处
1、降低风险,由于持续集成不断去构建,编译和测试,可以很早期发现问题,所以修复的代价就少;
2、对系统健康持续检查,减少发布风险带来的问题;
3、减少重复性工作;
4、持续部署,提供可部署单元包;
5、持续交付可供使用的版本;
6、增强团队信心;
持续集成的流程
提交
流程的第一步,是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交
测试(第一轮)
代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试。
构建
通过第一轮测试,代码就可以合并进主干,就算可以交付了。
交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实 际代码,比如安装依赖,配置各种资源(样式表、JS脚本、图片)等等。
测试(第二轮)
构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时 构建步骤也要移到第一轮测试前面。
部署
过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tar filename.tar * )存档,发到生产服务器。
回滚
一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指 向上一个版本的目录。
三、Gitlab简介与特点
GitLab是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。
GitLab和GitHub一样属于第三方基于Git开发的作品,免费且开源(基于MIT协议),与Github类似,可以注册用户,任意提交你的代码,添加SSHKey等等。不同的是,GitLab是可以部署到自己的服务器 上,数据库等一切信息都掌握在自己手上,适合团队内部协作开发,你总不可能把团队内部的智慧总放 在别人的服务器上吧?简单来说可把GitLab看作个人版的GitHub。
特点:
- 多平台:UNIX,WINDOWS,macOS和任何其他支持GO的平台上执行构建。
- 多语言:构建脚本是命令行驱动的,并且可以与java、php、ruby、c和其他语言一起使用。
- 稳定构建:构建在gitlab不同的机器上运行。
- 并行构建:gitlab CI/CD在多台机器上拆分构建,以实现快速执行。‘
- 实时日志记录:合并请求中的链接将您带到动态更新的当前构建日志。
- 灵活的管道:您可以在每个阶段定义多个并行作业,并且可以触发其他构建。
- 版本管道:一个.gitlab-ci.yml文件包含您的测试,整个过程的步骤,是每个人都能贡献更改,并确保每个分支获得所需的管道。
- 自动缩放:您可以自动缩放构建机器,以确保立即处理您的构建并降低成本。
- 构建工件:您可以将二进制文件和其他构建工件上载到gitlab并浏览和下载它们。
- docker支持:可以使用自定义docker镜像,作为测试的一部分启动服务,构建新的dockers镜像,甚至可以在k8s上运行。
- 容器注册表:内置的容器注册表,用于存储,共享和使用容器镜像。
- 受保护的变量:子啊部署期间使用受每个环境保护的变量安全地存储和使用机密。
- 环境:定义多个环境。
四、Gitlab CI/CD工作原理
- 将代码托管到git存储库中;
- 在项目根创建ci文件 .gitlab-ci.yml,在文件中指定构建,测试和部署脚本;
- gitlab将检测到它并使用名为gitlab runner的工具运行脚本;
- 脚本被分组为作业,它们共同组成了一个管道。
五、Gitlab的部署与安装
服务器:一台Gitlab仓库服务器、一台Jenkins服务器(JDK、Git、Maven)
安装依赖环境
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#安装相关依赖
yum insth-server perl postfixall -y curl policycoreutils-python openss
#启动ssh服务&设置为开机启动
systemctl enable sshd && systemctl start sshd
Gitlab安装
修改配置文件
重新加载配置
浏览器访问:http://192.168.80.20:82 ,如果显示 502,稍等片刻再刷新
六、Jenkins简介
Jenkins是一个广泛用于持续集成的可视化web自动化工具,Jenkins可以很友好的支持各种语言的项目构建,也可以完全兼容ant maven、gradle等多种第三方构建工具,同时跟svn git能无缝集成,也支持直接与知名源代码托管网站,比如 github、bitbucket直接集成,而且插件众多,在这么多年的"技术积累之后,在国内大部分公司都有使用Jenkins。
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具。主要做的事情就是从git中拉取代码,根据配置信息打包;把打好的包传输到目标服务器,并可以执行一些shell脚本,使项目打包发布一键完成。
jenkins软件包:Redhat Jenkins Packageshttps://get.jenkins.io/redhat/
七、Jenkins特点
- 开源的ava语言开发持续集成工具,支持持续集成,持续部署。
- 易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
- 消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
- 分布式构建:支持Jenkins能够让多台计算机一起构建/测试。
- 文件识别:Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
- 丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如git,svn,maven,docker等。
八、Jenkins安装和持续集成环境配置
- 首先,开发人员每天进行代码提交,提交到Git仓库
- 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK, Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新 再执行一次整个流程。
- 最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问 应用。
解压
目录切到/usr/local下,把jdk的解压文件添加到此目录下
在环境变量中配置jdk
在 /usr/lib/systemd/system/jenkins.service 文件中修改用户名和端口
重启jenkins
浏览器访问
中文插件
修改Jenkins插件下载地址
修改地址文件,替换为国内插件地址
cd /var/lib/jenkins/updates
sed -i 's/http:\/\/updates.jenkins- ci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json
https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
九、Jenkins 构建 Maven 项目
Maven 是一个主要用于 Java 项目的自动化构建工具。Maven 还可以用来构建和管理用 C#、Ruby、Scala 和其他语言开发的项目。
解压
加入maven信息
Jenkins全局工具配置
maven配置
Jenkins 全局变量
键值对列表添加:键 JAVA_HOME ,值 /usr/local/jdk-11.0.5 (jdk开发工具包)
键 M2_HOME ,值 /usr/local/maven ( maven编译工具包)
键 PATH+EXTRA ,值 $M2_HOME/bin (固定格式)
Jenkins凭证管理
一路回车
id_rsa:私钥文件
id_rsa.pub:公钥文件
在Jenkins中添加凭证,配置私钥
检测
新建"test02"项目->源码管理->Git,这次要使用Gitlab的SSH连接,并且选择SSH凭证
修改 Maven 的 settings.xml
十、Tomcat 安装和配置
自启文件
vim /etc/init.d/tomcat
#!/bin/bash
#chkconfig: 35 80 25
#description:Tomcat Service Control Script
start="/usr/local/tomcat/apache-tomcat-9.0.16/bin/startup.sh"
stop="/usr/local/tomcat/apache-tomcat-9.0.16/bin/shutdown.sh"
case "$1" in
start)
$start
;;
stop)
$stop
;;
restart)
$0 stop
$0 start
;;
*)
echo "$0 {start|stop|restart}"
esac
chmod +x /etc/init.d/tomcat #添加执行权限
chkconfig --add tomcat #添加到系统服务
systemctl start tomcat
lsof -i:8081 #查看服务是否启动
设置终端访问
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
十一、Jenkins–Pipeline流水线项目构建
Pipeline简介
概念
- Pipeline,简单来说,就是一套运行在Jenkins上的工作流框架,将原来独立运行于单个或者多个节点的
- 任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。
使用Pipeline有以下好处∶
- 代码: Pipeline以代码的形式实现,通常被检入源代码控制,使团队能够编辑,审查和迭代其传送流程。
- 持久:无论是计划内的还是计划外的服务器重启,Pipeline都是可恢复的。
- 可停止: Pipeline可接收交互式输入,以确定是否继续执行Pipeline。
- 多功能: Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行,并行执行任务的功能。
- 可扩展: Pipeline插件支持其DSL的自定义扩展,以及与其他插件集成的多个选项。
安装Pipeline插件
Manage Jenkins -> Manage Plugins -> 可选插件 –> 安装 Pipeline 和 Pipeline Stage View
pipeline {
agent any
stages {
stage('pull code') {
steps {
echo '开始拉取代码'
}
}
stage('build project') {
steps {
echo '开始构建'
}
}
stage('publish project') {
steps {
echo '正在部署'
}
}
}
}
拉取代码
git config --global user.name "root" #全局声明
git clone http://192.168.80.20:82/root/test.git #将项目克隆到服务器
输入密码:
cd web-test #切换目录
git add . #将代码上传到工作区
git commit -m "Initial commit" #提交代码申明
git push -u origin master #将代码推送到Gitlab