官方文档：https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/
环境配置
该部分每个主机都要执行
如果你确定不需要某个特定设置，则可以跳过它。
设置root登录
sudo passwd root
sudo vim /etc/ssh/sshd_config
PermitRootLogin yes # 添加
sudo systemctl restart sshd.service
关闭防火墙
sudo ufw status （inactive 关闭的）
ufw enable | disable #启动、关闭防火墙
ufw disable （关闭防火墙）
关闭虚拟交换
swapoff -a
vim /etc/fstab （注释fstab中swap配置）
#/swap.img none swap sw 0 0
或者 sed -ri 's/.*swap.*/#&/' /etc/fstab
关闭SELinux 关闭安全机制
getenforce
某些ubuntu版本，没有安装selinux，则可以不用配置
setenforce 0
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
修改主机名
hostnamectl set-hostname {k8s-m|k8s-node1|k8s-node2}
配置多台主机 hosts
vim /etc/hosts
10.120.10.190 k8s-master
10.120.10.191 k8s-node1
10.120.10.192 k8s-node2
转发 IPv4 并让 iptables 看到桥接流量
载入如下内核模块，
sudo tee /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter
配置下面的网络参数 设置所需的 sysctl 参数，参数在重新启动后保持不变：
sudo tee /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
应用 sysctl 参数而不重新启动
sudo sysctl --system
通过运行以下指令确认 br_netfilter 和 overlay 模块被加载：
lsmod | grep br_netfilter
lsmod | grep overlay
通过运行以下指令确认 net.bridge.bridge-nf-call-iptables、net.bridge.bridge-nf-call-ip6tables 和 net.ipv4.ip_forward 系统变量在你的 sysctl 配置中被设置为 1：
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward
容器运行时
该部分每个主机都要执行
本文容器运行时用containerd，如果机子上有docker，containerd已经默认安装，不在需要安装。
安装containerd：
可以安装docker-ce的方式，安装包的时候只执行：sudo apt install -y containerd.io 参考博文 docker安装
步骤一：设置 Docker 的apt存储库。步骤二：执行 sudo apt install -y containerd.io
sudo apt install -y containerd.io
systemctl status containerd
配置containerd
1、生成默认配置
containerd config default > /etc/containerd/config.toml
如果 -bash: /etc/containerd/config.toml: No such file or directory 就mkdir /etc/containerd/
2、修改CgroupDriver为systemd
k8s官方推荐使用systemd类型的CgroupDriver。
vim /etc/containerd/config.toml
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
...
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
SystemdCgroup = true
也可以直接用命令修改：
sudo sed -i 's/SystemdCgroup \= false/SystemdCgroup \= true/g' /etc/containerd/config.toml
如果你从软件包（例如，RPM 或者 .deb）中安装 containerd，你可能会发现其中默认禁止了 CRI 集成插件。
你需要启用 CRI 支持才能在 Kubernetes 集群中使用 containerd。 要确保 cri 没有出现在
/etc/containerd/config.toml 文件中 disabled_plugins列表内。如果你更改了这个文件，也请记得要重启 containerd。
可以执行：sed -i -r ‘/cri/s/(.*)/#\1/’ /etc/containerd/config.toml
如果你在初次安装集群后或安装 CNI 后遇到容器崩溃循环，则随软件包提供的 containerd 配置可能包含不兼容的配置参数。考虑按照
getting-started.md 中指定的 containerd config default >
/etc/containerd/config.toml 重置 containerd 配置，然后相应地设置上述配置参数。
3、重载沙箱（pause）镜像
正常情况下，国内你是拉取不到registry.k8s.io/pause:3.8镜像的，这个镜像是一切的pod的基础，要么自己手动导入进来，要么改成国内的镜像，通过设置以下配置来覆盖默认的沙盒镜像：
在你的 containerd 配置中， 你可以通过设置以下选项重载沙箱镜像：
[plugins."io.containerd.grpc.v1.cri"]
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"
可以直接用命令：
sudo sed -i 's/sandbox_image = ".*"/sandbox_image = "registry.aliyuncs.com\/google_containers\/pause:3.9"/' /etc/containerd/config.toml
4、重启containerd
systemctl restart containerd
安装 kubeadm、kubelet 和 kubectl
每个机器都执行
更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包：
sudo apt install -y apt-transport-https ca-certificates curl
下载签名秘钥及添加apt仓库
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat >/etc/apt/sources.list.d/kubernetes.list <<EOF
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt update
如果是国外机器，可以按照官方的方式：
sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
在k8s-master上：
更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本：
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
用 kubeadm 初始化集群
# 初始化集群控制台 Control plane
# 失败了可以用 kubeadm reset 重置
kubeadm init --image-repository=registry.aliyuncs.com/google_containers
# 记得把 kubeadm join xxx 保存起来 你需要此命令将节点加入集群。
# 忘记了重新获取：kubeadm token create --print-join-command
#要使非 root 用户可以运行 kubectl，请运行以下命令， 它们也是 kubeadm init 输出的一部分：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
–kubernetes-version 指定版本
–apiserver-advertise-address 为通告给其它组件的IP，一般应为master节点的IP地址
–service-cidr 指定service网络，不能和node网络冲突
–pod-network-cidr 指定pod网络，不能和node网络、service网络冲突
–image-repository registry.aliyuncs.com/google_containers 指定镜像源，由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。如果k8s版本比较新，可能阿里云没有对应的镜像，就需要自己从其它地方获取镜像了。
–control-plane-endpoint 标志应该被设置成负载均衡器的地址或 DNS 和端口(可选)
查看集群是否处于健康状态：
kubectl get cs
如果遇到错误的情况，可使用 kubeadm reset 重置，然后重启主机，再次进行 初始化。
kubectl get node #查看集群节点状态
kubectl get ns #查看命名空间
kubectl get pods -n kube-system #查看pod状态 -n 指定命名空间
在master节点配置pod网络
在master上执行kubectl get nodes发现状态是NotReady，因为还没有部署CNI网络插件，在k8s系统上Pod网络的实现依赖于第三方插件进行，这类插件有近数十种之多，较为著名的有flannel、calico、canal和kube-router等。
安装 flannel：
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kube-flannel.yml 128行的网络配置，要和 pod-network-cidr保持一致 都是默认的就不用改了
等一会再看 kubectl get node 变成Ready了
在各个slave上：
node节点无需安装 kubectl 客户端工具。
安装包
sudo apt-get install -y kubelet kubeadm
加入集群
命令是上面在master上执行 kubeadm init时生成的
kubeadm join 192.168.0.21:6443 --token zle96a.xd9dlgl8l784sztm --discovery-token-ca-cert-hash sha256:7443840d39139b48f64c948c54cd926b3f9818d7bf07dcb74ce9f31126b0a668
在master上查看：
