k8s安装教程
- 1 k8s介绍
- 2 环境搭建
- 2.1 主机准备
- 2.2 主机初始化
- 2.2.1 安装wget
- 2.2.2 更换yum源
- 2.2.3 常用软件安装
- 2.2.4 关闭防火墙
- 2.2.5 关闭selinux
- 2.2.6 关闭 swap
- 2.2.7 同步时间
- 2.2.8 修改Linux内核参数
- 2.2.9 配置ipvs功能
- 2.3 容器安装
- 2.3.1 设置软件yum源
- 2.3.2 安装docker软件
- 2.3.3 配置加速器
- 2.4 cri环境搭建
- 2.4.1 软件下载
- 2.4.2 安装配置
- 2.5 k8s环境安装
- 2.5.1 指定k8s源
- 2.5.2 安装kubeadm kubelet kubectl
- 2.5.3 在master节点检查镜像文件列表
- 2.5.4 在master节点上获取镜像文件
- 2.5.5 在master节点初始化
- 2.5.6 在node节点加入master节点
- 2.5.7 网络插件安装
1 k8s介绍
kubernetes,k和s直接是8个字母,简称k8s。是采用Go语言开发的。于2014年9月发布第一个版本,2015年7月发布第一个正式版本。
官网:https://kubernetes.io
代码仓库:https://github.com/kubernetes/kubernetes
kubernetes的本质是一组服务器集群,它可以在集群的每个节点上运行特定的程序,来对节点中的容器进行管理。目的是实现资源管理的自动化,主要提供了如下的主要功能:
- 自我修复:一旦某一个容器崩溃,能够在1秒中左右迅速启动新的容器
- 弹性伸缩:可以根据需要,自动对集群中正在运行的容器数量进行调整
- 服务发现:服务可以通过自动发现的形式找到它所依赖的服务
- 负载均衡:如果一个服务起动了多个容器,能够自动实现请求的负载均衡
- 版本回退:如果发现新发布的程序版本有问题,可以立即回退到原来的版本
- 存储编排:可以根据容器自身的需求自动创建存储卷
2 环境搭建
这里配一个一主两从的示意图
2.1 主机准备
序号 | 主机IP | 配置 | 备注 |
---|---|---|---|
1 | 192.168.123.92 | CPU:4核,内存:4G,硬盘:40GB | k8s-master |
2 | 192.168.123.93 | CPU:2核,内存:4G,硬盘:40GB | k8s-node1 |
3 | 192.168.123.94 | CPU:2核,内存:4G,硬盘:40GB | k8s-node2 |
# 序号1主机终端操作,操作完毕断开重连
hostnamectl set-hostname k8s-master
# 序号2主机终端操作,操作完毕断开重连
hostnamectl set-hostname k8s-node1
# 序号3主机终端操作,操作完毕断开重连
hostnamectl set-hostname k8s-node2
# 三台主机都需要操作:hosts解析
# vim /etc/hosts
192.168.123.92 k8s-master
192.168.123.93 k8s-node1
192.168.123.94 k8s-node2
2.2 主机初始化
2.2.1 安装wget
yum -y install wget
2.2.2 更换yum源
这里是CentOS7操作系统,更换成阿里yum源
# 备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
# 下载镜像源
wget -c http://mirrors.aliyun.com/repo/Centos-7.repo -O /etc/yum.repos.d/CentOS-Base.repo
# 重新生成缓存
yum clean all && yum makecache
2.2.3 常用软件安装
yum -y install vim lrzsz tree
2.2.4 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
2.2.5 关闭selinux
# 临时生效
setenforce 0
# 永久生效
# vim /etc/selinux/config
# 将SELINUX=的值改成disabled,即:SELINUX=disabled
2.2.6 关闭 swap
# 临时关闭
swapoff -a
# 永久生效
# vim /etc/fstab
# 将 [/dev/mapper/centos-swap swap swap defaults 0 0] 这一行注释掉
2.2.7 同步时间
# 安装
yum -y install chrony
# vim /etc/chrony.conf 注释下面内容
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
# 新增阿里时间服务器
server ntp.aliyun.com iburst
# 保存退出后,设置开机自启,重新加载配置,重启服务
systemctl enable chronyd
systemctl daemon-reload
systemctl restart chronyd
# 验证是否设置成功
# 方式一
chronyc sources
# 方式二
date
2.2.8 修改Linux内核参数
cat >> /etc/sysctl.d/k8s.conf << EOF
# 内核参数调整
vm.swappiness=0
# 配置iptables参数,使得流经网桥的流量也经过iptables/netfilter防火墙
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
# 配置生效,加载网桥过滤模块
modprobe br_netfilter
modprobe overlay
# 重新加载
sysctl -p /etc/sysctl.d/k8s.conf
# 终端输出如下
# vm.swappiness = 0
# net.bridge.bridge-nf-call-ip6tables = 1
# net.bridge.bridge-nf-call-iptables = 1
# net.ipv4.ip_forward = 1
2.2.9 配置ipvs功能
# 安装ipset和ipvsadm
yum install ipset ipvsadm -y
# 添加需要加载的模块写入脚本文件
cat >> /etc/sysconfig/modules/ipvs.modules << EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF
# 为脚本文件添加执行权限
chmod +x /etc/sysconfig/modules/ipvs.modules
# 执行脚本文件
/bin/bash /etc/sysconfig/modules/ipvs.modules
# 查看对应的模块是否加载成功
lsmod | grep -e ip_vs -e nf_conntrack_ipv4
# 终端输出如下
# ip_vs_sh 12688 0
# ip_vs_wrr 12697 0
# ip_vs_rr 12600 0
# ip_vs 145458 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
# nf_conntrack 139264 1 ip_vs
# libcrc32c 12644 3 xfs,ip_vs,nf_conntrack
2.3 容器安装
2.3.1 设置软件yum源
# yum-config-manager命令能用,需要安装的依赖
yum install -y yum-utils device-mapper-persistent-data lvm2
# 新增docker阿里镜像源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
2.3.2 安装docker软件
# 这里不指定版本,安装的是最新版docker
yum install -y docker-ce
2.3.3 配置加速器
cat >> /etc/docker/daemon.json << EOF
{
"registry-mirrors": [
"https://afnsj47q.mirror.aliyuncs.com"
],
# 私有仓配置
# "insecure-registries": ["域名或ip"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
[root@k8s-master ~]# cat /etc/docker/daemon.json
{
"registry-mirrors": [
# 个人阿里云加速器配置
"https://afnsj47q.mirror.aliyuncs.com"
],
# 私有仓配置
# "insecure-registries": ["域名或ip"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
# 重启加载配置,设置开机自启并开启docker服务
systemctl daemon-reload
systemctl enable docker
systemctl start docker
2.4 cri环境搭建
2.4.1 软件下载
软件地址:https://github.com/Mirantis/cri-dockerd/releases
# 这里下载的是cri最新版本
wget -c https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.8/cri-dockerd-0.3.8.amd64.tgz
2.4.2 安装配置
# 解压下载文件
tar -xvf cri-dockerd-0.3.8.amd64.tgz -C /usr/local
mv /usr/local/cri-dockerd/cri-dockerd /usr/local/bin
cri-dockerd --version
# cri-dockerd交给systemd管理的配置文件
cat > /etc/systemd/system/cri-dockerd.service<<-EOF
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/local/bin/cri-dockerd --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --container-runtime-endpoint=unix:///var/run/cri-dockerd.sock --cri-dockerd-root-directory=/var/lib/dockershim --docker-endpoint=unix:///var/run/docker.sock --
cri-dockerd-root-directory=/var/lib/docker
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF
cat > /etc/systemd/system/cri-dockerd.socket <<-EOF
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service
[Socket]
ListenStream=/var/run/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker
[Install]
WantedBy=sockets.target
EOF
# 加载配置,设置开启自启并启动服务
systemctl daemon-reload
systemctl enable cri-dockerd
systemctl start cri-dockerd
2.5 k8s环境安装
2.5.1 指定k8s源
这里使用阿里的yum源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2.5.2 安装kubeadm kubelet kubectl
# 安装kubeadm kubelet kubectl
yum -y install kubeadm kubelet kubectl
# 设置kubelet开机自启和启动
systemctl enable kubelet && systemctl restart kubelet
2.5.3 在master节点检查镜像文件列表
[root@k8s-master ~]# kubeadm config images list
I1220 18:09:30.152344 26378 version.go:256] remote version is much newer: v1.29.0; falling back to: stable-1.28
registry.k8s.io/kube-apiserver:v1.28.4
registry.k8s.io/kube-controller-manager:v1.28.4
registry.k8s.io/kube-scheduler:v1.28.4
registry.k8s.io/kube-proxy:v1.28.4
registry.k8s.io/pause:3.9
registry.k8s.io/etcd:3.5.9-0
registry.k8s.io/coredns/coredns:v1.10.1
2.5.4 在master节点上获取镜像文件
# cat images.sh
#!/usr/bin/env bash
images=$(kubeadm config images list --kubernetes-version=1.28.4 | awk -F'/' '{print $NF}')
for i in ${images}
do
docker pull registry.aliyuncs.com/google_containers/$i
docker tag registry.aliyuncs.com/google_containers/$i registry.k8s.io/$i
docker rmi registry.aliyuncs.com/google_containers/$i
done
下载后一个不满足,需要再手动修改下
docker tag registry.k8s.io/coredns:v1.10.1 registry.k8s.io/coredns/coredns:v1.10.1
docker rmi registry.k8s.io/coredns:v1.10.1
# kubeadm config images list 和 docker images保持一致了
[root@centos ~]# kubeadm config images list
I1215 08:55:02.856427 14692 version.go:256] remote version is much newer: v1.29.0; falling back to: stable-1.28
registry.k8s.io/kube-apiserver:v1.28.4
registry.k8s.io/kube-controller-manager:v1.28.4
registry.k8s.io/kube-scheduler:v1.28.4
registry.k8s.io/kube-proxy:v1.28.4
registry.k8s.io/pause:3.9
registry.k8s.io/etcd:3.5.9-0
registry.k8s.io/coredns/coredns:v1.10.1
[root@centos ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.k8s.io/kube-apiserver v1.28.4 7fe0e6f37db3 4 weeks ago 126MB
registry.k8s.io/kube-controller-manager v1.28.4 d058aa5ab969 4 weeks ago 122MB
registry.k8s.io/kube-scheduler v1.28.4 e3db313c6dbc 4 weeks ago 60.1MB
registry.k8s.io/kube-proxy v1.28.4 83f6cc407eed 4 weeks ago 73.2MB
registry.k8s.io/etcd 3.5.9-0 73deb9a3f702 7 months ago 294MB
registry.k8s.io/coredns/coredns v1.10.1 ead0a4a53df8 10 months ago 53.6MB
registry.k8s.io/pause 3.9 e6f181688397 14 months ago 744kB
2.5.5 在master节点初始化
# 直接初始化
kubeadm init --kubernetes-version=1.28.4 \
--node-name=k8s-master \
--apiserver-advertise-address=192.168.123.92 \
--image-repository registry.k8s.io \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///var/run/cri-dockerd.sock
# 重置并初始化
kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock && kubeadm init --kubernetes-version=1.28.4 \
--node-name=k8s-master \
--apiserver-advertise-address=192.168.123.92 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///var/run/cri-dockerd.sock
master节点初始化成功,终端显示
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.123.92:6443 --token jy6fvz.3zf24v9sb5f4dto2 \
--discovery-token-ca-cert-hash sha256:d0d61ece9c05b8ffcc4b246dfedf139dab7a701618e11621934575844216aee4
跟进终端提示,主节点操作
mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config
2.5.6 在node节点加入master节点
node节点加入主节点,在其node节点运行
# 直接加入
kubeadm join 192.168.123.92:6443 --token jy6fvz.3zf24v9sb5f4dto2 \
--discovery-token-ca-cert-hash sha256:d0d61ece9c05b8ffcc4b246dfedf139dab7a701618e11621934575844216aee4 \
--cri-socket=unix:///var/run/cri-dockerd.sock
# 重置并加入
kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock && kubeadm join 192.168.123.92:6443 --token jy6fvz.3zf24v9sb5f4dto2 \
--discovery-token-ca-cert-hash sha256:d0d61ece9c05b8ffcc4b246dfedf139dab7a701618e11621934575844216aee4 \
--cri-socket=unix:///var/run/cri-dockerd.sock
重新生成加入节点token
kubeadm token create --print-join-command
设置kubectl命令可以在node节点操作
scp -r $HOME/.kube 192.168.123.93:$HOME/
至此kubeadm命令工作完成,kubectl命令开始工作
2.5.7 网络插件安装
只在master节点操作即可
安装网络插件kube-flannel
# 打开https://site.ip138.com/网站查询raw.githubusercontent.com网址的域名解析,然后配置到/etc/hosts
# 521github.com
# 用wget命令下载kube-flannel.yml文件
wget --no-check-certificat https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 主节点执行
kubectl apply -f kube-flannel.yml
安装网络插件calico
官方网址:https://docs.tigera.io/
# 打开https://site.ip138.com/网站查询raw.githubusercontent.com网址的域名解析,然后配置到/etc/hosts
# 下载calico.yaml
# https://docs.tigera.io/calico/latest/getting-started/kubernetes/self-managed-onprem/onpremises
wget --no-check-certificat https://raw.githubusercontent.com/projectcalico/calico/v3.27.0/manifests/calico.yaml
# 官方提供的yaml文件中,ip识别策略(IPDETECTMETHOD)没有配置,即默认为first-found,这会导致一个网络异常的ip作为nodeIP被注册,从而影响node-to-nodemesh。
# 解决方法
vim calico.yaml
:/CLUSTER_TYPE
# 在下添加:
- name: IP_AUTODETECTION_METHOD
value: "interface=ens192" # 192为Linux执行ip a或ifconfig的名称
# 验证
kubectl get po -n kube-system
至此,k8s最新版集群环境搭建完毕