Spinnaker多云持续交付平台: 部署Minio存储服务

一、实验

1.环境

2.K8S storage节点部署NFS

3.K8S 动态创建PV

4.K8S master节点部署HELM3

4.K8S master节点部署Minio存储服务（第一种方式安装）

5.Minio客户端安装MC命令

6.K8S master节点使用Docker 部署Minio存储服务（第二种方式安装）

二、问题

1.K8S无法删除pv，pvc问题

2.minio 部署模式有哪些

3.pod Readiness探针与Liveness探针失败

4. 添加 MinIO服务失败

5.docker创建容器失败

6.K8S如何快速创建Minio存储

一、实验

1.环境

（1）主机

表1 主机

主机	架构	版本	IP	备注
master1	K8S master节点	1.20.6	192.168.204.180
node1	K8S node节点	1.20.6	192.168.204.181
node2	K8S node节点	1.20.6	192.168.204.182
stor01	nfs存储节点		192.168.204.177

（2）查看集群状态

2.K8S storage节点部署NFS

（1）安装配置nfs服务

#在stor01(192.168.204.183)节点上安装nfs，并配置nfs服务
mkdir /opt/k8s
chmod 777 /opt/k8s/
 
yum -y install nfs-utils rpcbind
 
#给204网段用户赋予读写权限、同步内容、不压缩共享对象root用户权限
vim /etc/exports
/opt/k8s 192.168.204.0/24(rw,sync,no_root_squash)

#首次安装 
systemctl  start  rpcbind nfs

#非首次安装
systemctl  restart rpcbind
systemctl restart nfs

#监听服务
ss -antp | grep rpcbind

#查看共享
exportfs  -arv 

showmount  -e

 
#所有节点配置hosts映射，或者配置DNS解析
echo '192.168.204.177 stor01' >> /etc/hosts

在stor01(192.168.204.177)节点上安装nfs，并配置nfs服务

安装

配置文件

重启服务

监听服务

查看共享目录

（2）查看域名

vim /etc/hosts

3.K8S 动态创建PV

(1) 创建 Service Account，用来管理 NFS-Subdir-External-Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

编写资源清单文件

vim nfs-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  namespace: default # 替换成你要部署的 Namespace
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: default
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: default
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

生成资源

kubectl apply -f nfs-rbac.yaml

再次查看sa

kubectl get sa

（3）使用 Deployment 来部署 NFS-Subdir-External-Provisioner

NFS Provisione(即 nfs-client)，有两个功能：一个是在 NFS 共享目录下创建挂载点(volume)，另一个则是将 PV 与 NFS 的挂载点建立关联。

vim  nfs-provisioner-deploy.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate                   ## 设置升级策略为删除再创建(默认为滚动更新)
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          #image: gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0
          image: registry.cn-beijing.aliyuncs.com/xngczl/nfs-subdir-external-provisione:v4.0.0
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME     ## Provisioner的名称,以后设置的storageclass要和这个保持一致
              value: nfs-client
            - name: NFS_SERVER           ## NFS服务器地址,需和valumes参数中配置的保持一致
              value: stor01
            - name: NFS_PATH             ## NFS服务器数据存储目录,需和valumes参数中配置的保持一致
              value: /opt/k8s
      volumes:
        - name: nfs-client-root
          nfs:
            server: stor01             ## NFS服务器地址
            path: /opt/k8s            ## NFS服务器数据存储目录


kubectl apply -f nfs-provisioner-deploy.yaml

（5）创建 StorageClass，负责建立 PVC 并调用 NFS-Subdir-External-Provisioner进行预定的工作，并让 PV 与 PVC 建立关联，声明 NFS 动态卷提供者名称为 “nfs-storage”。

vim nfs-storage.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storage
  annotations:
    storageclass.kubernetes.io/is-default-class: "false"  ## 是否设置为默认的storageclass
provisioner: nfs-client                                   ## 动态卷分配者名称，必须和上面创建的"provisioner"变量中设置的Name一致
parameters:
  archiveOnDelete: "true"                                 ## 设置为"false"时删除PVC不会保留数据,"true"则保留数据
mountOptions:
  - hard                                                  ## 指定为硬挂载方式
  - nfsvers=4                                             ## 指定NFS版本,这个需要根据NFS Server版本号设置


kubectl apply -f nfs-storage.yaml

4.K8S master节点部署HELM3

（1）Helm版本与K8S集群兼容

Helm | Helm版本支持策略

（2）查看K8S集群状态

# kubectl get node

（3）策略

当前K8S 集群为1.20.6版本，选择HELM 3.8.1 版本。

（4）部署


1）安装 helm 
//下载二进制 Helm client 安装包
wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gz
 
tar -zxvf helm-v3.8.1-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm
helm version
 
//命令补全
source <(helm completion bash)
 
2）使用 helm 安装 Chart
//添加常用的 chart 仓库，
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

3) 更新 charts 列表
helm repo update
helm repo list

安装

使用 helm 安装 Chart

4.K8S master节点部署Minio存储服务（第一种方式安装）

（1）Minio官方文档

minio 13.4.2 · bitnami/bitnami (artifacthub.io)

（2）获取最新minio charts

1)查询 minio 资源
helm search repo minio

2)创建目录
mkdir -p /root/minio/ && cd /root/minio/

3)拉取 chart 到本地目录
第一种方式：
helm fetch bitnami/minio --version 13.3.3
第二种方式
helm pull bitnami/minio --version 13.3.3 

4)解压
tar -zxvf minio-13.3.3.tgz
cp minio/values.yaml ./values-test.yaml

5）查看当前目录层级
tree -L 2
.
├── minio
│   ├── Chart.lock
│   ├── charts
│   ├── Chart.yaml
│   ├── README.md
│   ├── templates
│   └── values.yaml
├── minio-13.3.3.tgz
└── values-test.yaml

查询

拉取解压

查看目录

（3）查看集群 storageclasses

kubectl get storageclasses.storage.k8s.io

（4）修改配置文件

vim values-test.yaml

(5)安装minio集群

helm install minio minio -f values-test.yaml

-n 指定 kubernetes 集群名称空间
-f 指定使用的配置文件，文件中定义的配置可以覆盖 minio/values.yaml 文件中配置

NAME: minio
LAST DEPLOYED: Thu Feb  8 09:03:41 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 13.3.3
APP VERSION: 2024.1.31

** Please be patient while the chart is being deployed **

MinIO&reg; can be accessed via port  on the following DNS name from within your cluster:

   minio.default.svc.cluster.local

To get your credentials run:

   export ROOT_USER=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-user}" | base64 -d)
   export ROOT_PASSWORD=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-password}" | base64 -d)

To connect to your MinIO&reg; server using a client:

- Run a MinIO&reg; Client pod and append the desired command (e.g. 'admin info'):

   kubectl run --namespace default minio-client \
     --rm --tty -i --restart='Never' \
     --env MINIO_SERVER_ROOT_USER=$ROOT_USER \
     --env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \
     --env MINIO_SERVER_HOST=minio \
     --image docker.io/bitnami/minio-client:2024.1.31-debian-11-r1 -- admin info minio

To access the MinIO&reg; web UI:

- Get the MinIO&reg; URL:

   echo "MinIO&reg; web URL: http://127.0.0.1:9001/minio"
   kubectl port-forward --namespace default svc/minio 9001:9001

(6) 查看

helm list

kubectl get deploy

kubectl get pod

kubectl get pod -o wide

(7) 查看pv与pvc

kubectl get pv

kubectl get pvc

（8）NFS 查看卷

ls

ls | grep minio

5.Minio客户端安装MC命令

（1）下载

wget https://dl.min.io/client/mc/release/linux-amd64/mc

（2）安装

chmod a+x mc

mv mc /usr/local/bin/

mc --version

(3) 配置访问minio

mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4

# 查看配置，不同 mc 版本，以下内容输出可能不一定完全相同
mc config host list

gcs  
  URL       : https://storage.googleapis.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v2
  Path      : dns

local
  URL       : http://localhost:9000
  AccessKey : 
  SecretKey : 
  API       : 
  Path      : auto

minio
  URL       : http://10.99.219.173:9000
  AccessKey : minio
  SecretKey : minio123
  API       : S3v4
  Path      : auto

play 
  URL       : https://play.min.io
  AccessKey : Q3AM3UQ867SPQQA43P2F
  SecretKey : zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG
  API       : S3v4
  Path      : auto

s3   
  URL       : https://s3.amazonaws.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v4
  Path      : dns

6.K8S master节点使用Docker 部署Minio存储服务（第二种方式安装）

（1）docker 命令去安装稳定版本的 minio

docker pull minio/minio

（2）创建存放数据的目录

# 一个用来存放配置，一个用来存储上传文件的目录
# 启动前需要先创建Minio外部挂载的配置文件（ /rootconfig）,和存储上传文件的目录（ /root/data）

mkdir -p /root/data

mkdir -p /root/config

(3) 创建Minio容器并运行（多行模式）

# 9090端口指的是minio的客户端端口
# MINIO_ACCESS_KEY ：账号
# MINIO_SECRET_KEY ：密码（账号长度必须大于等于5，密码长度必须大于等于8位）

docker run -p 9000:9000 -p 9090:9090 \
     --net=host \
     --name minio \
     -d --restart=always \
     -e "MINIO_ACCESS_KEY=minioadmin" \
     -e "MINIO_SECRET_KEY=minioadmin" \
     -v /root/data:/data \
     -v /root/config:/root/.minio \
     minio/minio server \
     /data --console-address ":9090" -address ":9000"

（4）另一种方式创建Minio容器并运行（单行模式）

docker run -p 9000:9000 -p 9090:9090      --net=host      --name minio      -d --restart=always      -e "MINIO_ACCESS_KEY=minioadmin"      -e "MINIO_SECRET_KEY=minioadmin"      -v /root/data:/data      -v /root/config:/root/.minio      minio/minio server      /data --console-address ":9090" -address ":9000"

（5）查看docker进程

docker ps | grep minio

（6）登录

http://192.168.204.180:9090/login

进入系统

（7）创建用户

填写信息

（8）完成创建

（9）创建组

(10)创建accessKey和secretKey

查看

（11）创建Bucket

查看

（12）上传文件

查看

二、问题

1.K8S无法删除pv，pvc问题

（1）报错

error: resource(s) were provided, but no name was specified

（2）原因分析

删除顺序不对。

（3）解决方法

正确的删除顺序：
 
1）先删除pod
helm -n devops uninstall minio(项目名称) 
 
2）解除pv绑定
kubectl patch pv pvname(pv名称) -p '{"metadata":{"finalizers":null}}'
 
3）解除pvc绑定
kubectl patch pvc pvcname(pvc名称) -p '{"metadata":{"finalizers":null}}'

4) 删除pv
kubectl delete pv pvname(pv名称) -n devops

5) 删除pvc
kubectl delete pvc pvname(pvc名称) -n devops

2.minio 部署模式有哪些

（1）模式

1）standalone
独立模式下，服务部署数量为1个

3）distributed
分别模式下，服务部署数量，必须大于4个

（2）standalone模式

创建（服务部署数量为1个）

（3）distributed模式

创建（服务部署数量为4个）

3.pod Readiness探针与Liveness探针失败

(1)报错

通过yaml文件创建pod时，执行完yaml文件，过一会就开始报错说Back-off restarting failed container。

查看pod状态一致处于CrashLoopBackOff

kubectl get pod

kubectl describe pod minio-9c678d65c-45js9

（2）原因分析

Back-off restarting failed container的Warning事件，一般是由于通过指定的镜像启动容器后，容器内部没有常驻进程，导致容器启动成功后即退出，从而进行了持续的重启。

（3）解决方法

如果是通过yaml文件创建的pod，找到对应的deployment，增加命令command: ["/bin/bash", "-ce", "tail -f /dev/null"]

kubectl edit deploy

4. 添加 MinIO服务失败

（1）报错

（2）原因分析

端口不能漏，–api不能漏

（3）解决方法

连接

mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4

如需删除

mc config host remove minio

5.docker创建容器失败

（1）报错

（2）原因分析

容器名称重复

（3）解决方法

查看

docker ps -a

删除

docker rm -f a17f4299e7bd

成功：

docker run -p 9000:9000 --name minio -v /root/data:/data -v /root/config:/root/.minio minio/minio server /data

6.K8S如何快速创建Minio存储

（1）官方文档

MinIO Object Storage for Kubernetes — MinIO Object Storage for Kubernetes

（2）下载 MinIO 对象

curl https://raw.githubusercontent.com/minio/docs/master/source/extra/examples/minio-dev.yaml -O

（3）应用 MinIO 对象定义

kubectl apply -f minio-dev.yaml

命令输出应如下所示：

namespace/minio-dev created
pod/minio created

（4）验证 Pod 的状态

kubectl get pods -n minio-dev

（5）检索有关 Pod 状态的详细信息

kubectl describe pod/minio -n minio-dev

kubectl logs pod/minio -n minio-dev

（6）临时访问 MinIO S3 API 和控制台

使用以下命令将流量从 MinIO Pod 临时转发到本地计算机

#该命令在 shell 中处于活动状态时，将 pod 端口转发到本地计算机上的匹配端口。 该命令仅在 shell 会话中处于活动状态时起作用。 终止会话将关闭本地计算机上的端口。

#要配置对 Pod 的长期访问，需要在 Kubernetes 中配置 Ingress 或类似的网络控制组件，以路由进出 Pod 的流量。

kubectl port-forward pod/minio 9000 9090 -n minio-dev

（7）浏览器连接到 MinIO 服务器

通过在本地计算机上打开浏览器并导航到 来访问 MinIO 控制台。http://127.0.0.1:9001

使用凭据 登录控制台。 这些是默认的 root 用户凭证。minioadmin | minioadmin

（8）连接 MinIO 客户端

如果本地计算机已安装mc，请使用以下命令进行身份验证并连接到 MinIO 部署

mc alias set k8s-minio-dev http://127.0.0.1:9000 minioadmin minioadmin
mc admin info k8s-minio-dev