一、准备3台虚拟机

务必保证3台是同样的操作系统！

1、我这里原有1台centos7，为了节省资源和效率，打算通过“创建链接克隆”2台出来

2、克隆之前，先看一下是否存在k8s相关组件，或者docker相关组件

3、卸载原有的docker

sudo yum remove docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin docker-ce-rootless-extras
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd

4、克隆完毕

二、配置3台虚拟机

1、分配角色，修改主机名

hostnamectl set-hostname master-1
hostnamectl set-hostname node1
hostnamectl set-hostname node2

#验证

hostnamectl status

2、修改/etc/hosts

cat <<EOF >>/etc/hosts
192.168.255.128 master-1
192.168.255.129 node1
192.168.255.130 node2
EOF

3、安装docker-ce

# 安装docker所需的工具

yum install -y yum-utils device-mapper-persistent-data lvm2

# 配置阿里云的docker源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 指定安装这个版本的docker-ce

yum install -y docker-ce-18.09.9-3.el7

# 启动docker

systemctl enable docker && systemctl start docker

4、配置k8s搭建条件

# 关闭防火墙

systemctl disable firewalld
systemctl stop firewalld

# 临时禁用selinux

setenforce 0

# 永久关闭 修改/etc/sysconfig/selinux文件设置

sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

# 禁用交换分区

swapoff -a

# 永久禁用，打开/etc/fstab注释掉swap那一行

sed -i 's/.*swap.*/#&/' /etc/fstab

# 修改内核参数

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

5、安装kubeadm、kubelet、kubectl

# 执行配置k8s阿里云源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装kubeadm、kubectl、kubelet

yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0

# 启动kubelet服务

systemctl enable kubelet && systemctl start kubelet

三、配置Master管理节点

1、初始化

使用以下命令初始化k8s

kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --apiserver-advertise-address 192.168.255.128 --pod-network-cidr=10.244.0.0/16 --token-ttl 0

# 下载管理节点中用到的6个docker镜像，你可以使用docker images查看到。这里需要等待两分钟，会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull

初始化完成后会生成如下命令

master 节点依次执行截图上面三条命令

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

测试，查看节点，出现master节点

kubectl get node

node 节点执行下面的命令加入（截图下面的命令）

kubeadm join 192.168.255.128:6443 --token v88kvg.59quk6izz4ndb41w \
    --discovery-token-ca-cert-hash sha256:e9218e12297174ada4a3f416e04cf67532a8009946565630d3d5fb36aa1caf51 

如果忘记以上命令，可以使用如下命令获取

kubeadm token create --print-join-command

再次查看节点，三个节点都有了，但是STATUS处于“NotReady”

2、安装网络插件

上面虽然三个节点都有了，但是状态都是“NotReady”，这就需要master节点安装以下两个网络插件：calico、flannel

calico

# 安装 calico 网络插件

yum install wget
wget https://kuboard.cn/install-script/calico/calico-3.9.2.yaml
export POD_SUBNET=10.244.0.0/16
sed -i "s#192\.168\.0\.0/16#${POD_SUBNET}#" calico-3.9.2.yaml
kubectl apply -f calico-3.9.2.yaml

flannel

安装flannel时，访问外网，需要代理，我这里使用宿主机的clash代理

#虚拟机使用宿主机clash代理

export http_proxy=http://192.168.255.1:7890
export https_proxy=http://192.168.255.1:7890

执行以下命令安装flannel 

mkdir -p ~/k8s/
cd ~/k8s
curl -O https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml

以上两个插件安装完毕，一切顺利的话，会如下图所示，状态变成“Ready”，大功告成！

四、NotReady问题解决

按照以上操作完成后，发现status还是“NotReady”

如果前面的安装、配置都没问题的话，那极有可能是docker镜像源问题

k8s集群安装配置过程中，在进行集群安装还有网络插件配置的时候，都需要用到docker镜像仓库拉取镜像，随着国内各大docker镜像站都被墙了之后，导致docker拉取镜像都变成了一个难题，一般这时候找到一个可靠的镜像源就能解决问题。

修改配置文件

vim /etc/docker/daemon.json

换成以下镜像源

{
  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://noohub.ru",
    "https://huecker.io",
    "https://dockerhub.timeweb.cloud",
    "https://docker.rainbond.cc",
    "https://docker.1ms.run",
    "https://docker.1panel.live",
    "https://hub1.nat.tf"
  ]
}

更换镜像源后，重启，成功

sudo systemctl restart docker

五、其它版本搭建（v1.23）

由于在2022年k8s的1.24版本更新中已经完全放弃了docker作为容器运行时软件，想要继续使用docker作为容器运行时软件，只能安装1.23以下的版本，然后k8s1.23版本支持的最新docker是20.10

参考文章：

K8s安装部署--超级详细（无坑，v1.23）_kubernetes 1.23-CSDN博客

按照这篇文章，也可以成功搭建1.23版本的k8s

自 1.24 版起，Dockershim 已从 Kubernetes 项目中移除。弃用 Docker 这个底层运行时，转而支持符合为 Kubernetes 创建的容器运行接口 Container Runtime Interface (CRI) 的运行时。对于Kubernetes 的终端用户不会有太大影响。这也并不意味着 Docker 已死、也不意味着不能或不该继续把 Docker 用作开发工具。Docker 仍然是构建容器的利器，使用命令 docker build 构建的镜像在 Kubernetes 集群中仍然可以运行。 

六、文末

辞旧迎新，万象更新！在这蛇年来临之际，向网络安全领域的红队、蓝队师傅们送上最诚挚的祝福：红队师傅攻无不克，蓝队师傅守如磐石，新的一年愿你们在赛场上争锋相对，在安全路上并肩而行！蛇年灵动，愿你们敏锐如蛇，攻守皆有道；事业高升，财源滚滚；生活如蛇盘珠玉，圆满无缺！感谢你们的付出，为数字世界的安全保驾护航！新春快乐，阖家幸福，蛇年大吉，安“全”常在！