一、项目概述

Spring-boot的项目通过Rancher6.3部署，Nacos作为配置中心，Rureka作为注册中心，Harbor作为镜像仓库，采用NFS服务器进行数据卷存储。
本章节文章实施前提是你部署完K8S环境的情况下，如果没有准备环境，参考前一章节

二、环境

机器名	IP地址	部署内容	备注
k8smaster	172.16.5.222	Control Plane、Etcd	centos7.9
k8sworker01	172.16.5.223	Worker	centos7.9
k8sworker02	$12172.16.5.224	Worker	centos7.9
k8sworker03	172.16.5.225	Worker	centos7.9
harbor	172.16.5.226	Harbor 、NFS	centos7.9
rancher	172.16.5.221	Rancher	centos7.9

三、部署流程

3.1 Harbor部署

3.1.1 docker安装

#docker安装
yum install -y yum-utils
# 添加yum源,这里添加的是阿里云的yum源
yum-config-manager  --add-repo  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 查看docker版本
yum list docker-ce --showduplicates | sort -r
# 您可以选择其他版本
yum  -y install docker-ce-20.10.12-3.el7
# 设置国内镜像加速，你也可以用自己的仓库镜像，这里是我申请的阿里云个人加速镜像
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://fuchp8pk.mirror.aliyuncs.com"]
}
EOF
# 导入镜像设置
systemctl daemon-reload
# 启动docker
systemctl restart docker
# 设置docker开机启动
systemctl enable docker

3.1.2 docker-compose安装

GitHub的docker-compose下载地址：https://github.com/docker/compose/releases，github.com网站无法访问自行百度，最好从github上面下载文件，其他地方下载的docker-compose可能有问题。

#docker-compose安装
curl -L "https://github.com/docker/compose/releases/download/2.3.4/docker-compose-$(uname -s)-$(uname -m)" -o/usr/local/bin/docker-compose

#授权
chmod +x /usr/local/bin/docker-compose

#测试
docker-compose --version

3.1.3 安装证书

#先创建一个存放证书的目录
mkdir -p /opt/harbor/cert && cd /opt/harbor/cert
#生成CA证书私钥
openssl genrsa -out ca.key 4096
#生成CA证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Guangdong/L=Beijing/O=loongstudio/OU=loongstudio/CN=harbor.newcapec.com" \
 -key ca.key \
 -out ca.crt
 
 
 #生成服务器证书
 #生成私钥
 openssl genrsa -out harbor.newcapec.com.key 4096
 
 #生成带签名的证书CSR
 openssl req -sha512 -new \
-subj "/C=CN/ST=Guangdong/L=Beijing/O=loongstudio/OU=loongstudio/CN=harbor.newcapec.com" \
-key harbor.newcapec.com.key \
-out harbor.newcapec.com.csr

#生成x509 v3扩展文件
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=harbor.newcapec.com
DNS.2=harbor.newcapec
DNS.3=k8s-main
EOF

#使用v3.txt为harbor主机生成证书
openssl x509 -req -sha512 -days 3650 \
-extfile v3.ext \
-CA ca.crt -CAkey ca.key -CAcreateserial \
-in harbor.newcapec.com.csr \
-out harbor.newcapec.com.crt

#拷贝服务器证书与密钥到证书文件夹
mkdir -p /data/cert/
cp harbor.newcapec.com.crt /data/cert/
cp harbor.newcapec.com.key /data/cert/

#将harbor.newcapec.com.crt转换为harbor.newcapec.com.cert，以供Docker使用
openssl x509 -inform PEM -in hub.loongstudio.com.crt -out harbor.newcapec.com.cert


#将服务器证书、密钥和CA文件复制到Docker证书文件夹中
mkdir -pv /etc/docker/certs.d/harbor.newcapec.com/
cp harbor.newcapec.com.cert /etc/docker/certs.d/harbor.newcapec.com/
cp harbor.newcapec.com.key /etc/docker/certs.d/harbor.newcapec.com/
cp ca.crt /etc/docker/certs.d/harbor.newcapec.com/

#重启docker
systemctl daemon-reload &&  systemctl restart docker

3.1.4 Harbor下载配置安装

#下载harbor
wget https://github.com/goharbor/harbor/releases/download/v2.6.1/harbor-offline-installer-v2.6.1.tgz

#解压
tar -zxvf harbor-offline-installer-v2.6.1.tgz

• 修改Harbor.yml配置文件、安装包里面原本文件不是这个，需要修改名称，hostname填写你的域名或者ip地址，如果是域名，需要访问Harbor平台的机器都需要修改hosts文件。

#生成配置文件，安装harbor
bash prepare
bash install.sh
#查看运行服务
docker-compose ps
#启动docker-compose
docker-compose up -d
#停止docker-compose
docker-compose down

• 修改docker的配置文件/etc/docker/daemon.json，每个工作节点docker配置文件都需要修改，不然无法正常从Harbor拉取镜像。

"insecure-registries": ["harbor.newcapec.com","0.0.0.0","172.16.5.226"]

• 测试harbor，去工作节点登录harbor

docker login harbor.newcapec.com

3.2 NFS存储搭建

#安装nfs软件包
yum install -y rpcbind nfs-utils
#将挂载目录写入文件，可以自定义目录
echo '/opt/k8s/nfs *(insecure,rw,sync,no_root_squash)' >> /etc/exports

# 创建共享目录，如果要使用自己的目录，请替换本文档中所有的 /data/nfs
mkdir /data/nfs
systemctl enable rpcbind
systemctl enable nfs-server
systemctl start rpcbind
systemctl start nfs-server
exportfs -r

#每个工作节点需要
#安装nfs软件包
yum install -y  nfs-utils 

#nfs ip  工作节点测试
showmount -e 172.16.5.226

3.3 Rancher平台配置

3.3.1 NFS存储相关配置

• 创建StorageClasses存储类

• 创建持久性卷声明 PersistentVolumeClaims (NFS)

• 创建持久卷 PersistentVolumes (NFS)

3.3.2 Harbor相关配置

• 配置Harbor连接密文
  

3.3.3 Nacos部署及相关配置

• 配置bootstrap.properties
  微服务连接Nacos使用bootstrap.properties文件来配置，在微服务里面bootstrap.properties的优先级很高

spring.application.name=core
spring.profiles.active=prod
spring.cloud.nacos.config.file-extension=properties
spring.cloud.nacos.config.server-addr=nacos:8848

3.3.4 工作负载deployment配置

部署spring-boot微服务的工作负债需要新建立pvc存储卷，配置映射bootstrap.properties里面配置连接Nacos相关参数，可以参考上面Nacos工作负载的相关配置。

3.3.5 Eureka配置

四、总结

本次部署在测试环境，整体流程是生产环境基本所有的配置项，使用k8s环境进行部署项目，目前基本都是使用一个集群管理平台Rancher或者Kuboard、Dashboard，spring-boot项目配置文件使用Nacos来存储配置，方便后期维护升级等，Eureka作为spring项目的注册中心，NFS作为存储，一般用来存放微服务日志，还有一些需要持久化存储的文件。