准备两台虚拟机
192.168.152.129
192.168.152.130
更改主机名
192.168.152.129:hostnamectl set-hostname k8s-master
hostnamectl
192.168.152.130:hostnamectl set-hostname k8s-node1
hostnamectl
master节点配置
1.配置hosts
在两台节点上执行vim /etc/hosts
把两台虚拟机ip地址加到后面;
192.168.152.129 k8s-master
192.168.152.130 k8s-node1
2.安装依赖包
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vimnet-tools git
3.配置防火墙
设置防火墙为 Iptables 并设置空规则systemctl stop firewalld && systemctl disable firewalld
;yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
4.关闭selinux
使用命令永久关闭selinuxsed -i 's/enforcing/disabled/' /etc/selinux/config && setenforce 0
5.关闭swap分区
临时关闭 swapoff -a
# 永久关闭,下次生效 sed -ri 's/.*swap.*/#&/' /etc/fstab
6.调整内核参数
cat > kubernetes.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间,只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
sysctl -p /etc/sysctl.d/kubernetes.conf
7.调整系统时区
rm -f /etc/localtime
ln -sf /usr/share/zoneinfo/Asia/Shanghai
reboot
8.关闭系统不需要的服务
systemctl stop postfix && systemctl disable postfix
9.设置 rsyslogd 和 systemd journald
mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf << EOF
[Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF
systemctl restart systemd-journald
10.升级系统内核
CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs,导致运行的 Docker、Kubernetes 不稳定;rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含initrd16配置,如果没有,再安装一次;cat /boot/grub2/grub.cfg | grep initrd16
yum --enablerepo=elrepo-kernel install -y kernel-lt
设置开机从新内核启动grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
重启检查reboot
uname -r
11.加载ip_vs内核模块
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
设置下次开机自动加载
cat > /etc/modules-load.d/ip_vs.conf << EOF
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
EOF
12.安装Docker软件
yum install -y yum-utils device-mapper-persistent-data lvm2
;
yum-config-manager \<br />--add-repo \<br />http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
;
yum update -y && yum install -y docker-ce
;
创建/etc/docker目录;mkdir /etc/docker
配置daemon;
{
"registry-mirrors": ["https://ii3bf0bm.mirror.aliyuncs.com"]
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
重启docker服务systemctl daemon-reload && systemctl restart docker && systemctl enable docker
13.安装kubeadm,kubelet和kubectl
yum install -y kubelet-1.21.0-0 kubeadm-1.21.0-0 kubectl-1.21.0-0 --disableexcludes=kubernetes
出现的报错 :
解决办法:
编辑 /etc/yum.repos.d/k8s.repo 文件
修改一下参数:
repo_gpgcheck=0
然后重试yum update,就解决了。
这边是禁用了GPG key的验证机制;
systemctl restart kubelet ; systemctl enable kubelet
列出所有版本yum list kubelet --showduplicates
14.master节点初始化
在 master 上的核心组件,例如 api-server、scheduler、kubelet、etcd、scheduler 等都是以容器的方式运行,由于默认的国外镜像站点可能无法访问,所以这里修改为阿里云镜像下载,同时需要指定版本和pod的网段地址:
kubeadm init --kubernetes-version=v1.21.0 \
--apiserver-advertise-address=0.0.0.0 \ # 后面可以换成master机器的IP尝试下
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
出现的报错:
因为有的时候我们要考虑各组件之间的版本兼容性,比如安装k8s的这3个组件的时候就要考虑k8s组件的版本是否与docker,Centos的版本相匹配。出现上述错误的原因就是镜像版本与kubeadm组件要求的版本不匹配,故报错。
可以使用kubeadm config images list
查看组件所要求的镜像
解决方法:
需要对版本进行降级,或者重新安装匹配的版本。
在/etc/yum.repos.d/kubernetes.repo
文件中设置阿里镜像源,该文件若不存在则创建,存在则更改,编辑内容为:
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
使用**:wq**保存编辑并退出,这样就可以使用阿里源的仓库下载k8s的组件了。
然后使用rpm -qa | egrep kubelet
列出kubelet组件安装包的全名,使用yum remove kubelet-1.21.0.x86_64
卸载安装包即可。
下载1.14.2版本
yum install -y kubelet-1.14.2
yum install -y kubeadm-1.14.2
yum install -y kubectl-1.14.2
执行:kubeadm init --kubernetes-version=v1.14.2 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --ignore-preflight-errors=Swap
然后在执行kubeadm init
可能出现的报错:
原因显而易见,是因为要下载 k8s.gcr.io的docker镜像,但是国内连不上 https://k8s.gcr.io/v2/
解决方法:
运行 kubeadm init 时加上阿里云镜像的参数 --image-repository=registry.aliyuncs.com/google_containers
如果说某次执行kubeadm init初始化k8s集群失败了,在下一次执行kubeadm init初始化语句之前,先执行kubeadm reset
命令。这个命令的作用是重置节点,大家可以把这个命令理解为:上一次 kubeadm init 初始化集群操作失败了,该命令清理了之前的失败环境。kubeadm reset
kubeadm init --image-repository=registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16 --kubernetes-version=v1.14.2
master节点初始化成功!
15.配置kubectl
就是执行初始化成功后输出的那三条命令
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
查看节点信息 kubectl get nodes
此时只能看到master节点,等待其他节点加入进来后即可看到。
16.让集群ready(待另一台node节点加入集群后操作)
在master上执行kubectl get nodes可以看到,最开始看到的是NotReady,原因是pod都是分布在不同的主机上,各个Pod之间无法通信,需要安装CNI网络插件,它才会变成ready,这里选择calico网络。
步骤1:在master上下载配置calico网络的yaml。wget https://docs.projectcalico.org/v3.14/manifests/calico.yaml --no-check-certificate
步骤2:修改calico.yaml里的pod网段。
把calico.yaml里pod所在网段改成kubeadm init时选项--pod-network-cidr所指定的网段,
直接用vim编辑打开此文件查找192,按如下标记进行修改:
# no effect. This should fall within `--cluster-cidr`.
# - name: CALICO_IPV4POOL_CIDR
# value: "192.168.0.0/16"
# Disable file logging so `kubectl logs` works.
- name: CALICO_DISABLE_FILE_LOGGING
value: "true"
把两个‘#’及‘#’后面的空格去掉,并把192.168.0.0/16改成10.244.0.0/16
# no effect. This should fall within `--cluster-cidr`.
- name: CALICO_IPV4POOL_CIDR
value: "10.244.0.0/16"
# Disable file logging so `kubectl logs` works.
- name: CALICO_DISABLE_FILE_LOGGING
value: "true"
步骤3:提前下载所需要的镜像。
查看此文件用哪些镜像:grep image calico.yaml
在所有节点(包括master)上把这些镜像下载下来:for i in calico/cni:v3.14.0 calico/pod2daemon-flexvol:v3.14.0 calico/node:v3.14.0 calico/kube-controllers:v3.14.0 ; do docker pull $i ; done
步骤4:安装calico网络。kubectl apply -f calico.yaml
步骤5:验证结果。
再次在master上运行命令 kubectl get nodes查看运行结果:
可以看到所有节点的状态已经变为是Ready了。
17.测试k8s集群
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc
node节点配置
重复master节点1-13的步骤
将另一台noed节点加入集群
kubeadm join 192.168.152.129:6443 --token yz6m6c.te0cb34ip38ib5gd \
--discovery-token-ca-cert-hash sha256:2fb7080429518e03d9262ab01f20d9b8470f047474b32bd6224ca6e123e49156
可能遇到的错误
同master13遇到的问题,下载安装1.14.2版本即可。