k8s简介及虚拟机快速搭建k8s集群

文章目录

- 1、k8s简介
- - 1.1、部署方式的变迁
  - 1.2、定义
  - 1.3、Kubernetes提供的功能
- 2、虚拟机快速搭建k8s集群
- - 2.1、虚拟机配置（centos7 2G内存2个处理器）
  - 2.2、基础环境准备
  - 2.3、docker安装（易踩坑）
  - 2.4、安装k8s组件
  - 2.5、master节点部署
  - 2.6、部署网络插件
  - 2.7、2台node节点的虚机加入主节点
  - 2.8、验证集群是否部署成功
  - 2.9、设置ipvs模式

1、k8s简介

1.1、部署方式的变迁

在这里插入图片描述

传统部署时代：
- 在物理服务器上运行应用程序
- 无法为应用程序定义资源边界
- 导致资源分配问题

例如，如果在物理服务器上运行多个应用程序，则可能会出现一个应用程序占用大部分资源的情况，结果可能导致其他应用程序的性能下降。一种解决方案是在不同的物理服务器上运行每个应用程序，但是由于资源利用不足而无法扩展，并且维护许多物理服务器的成本很高。

虚拟化部署时代：
- 作为解决方案，引入了虚拟化
- 虚拟化技术允许你在单个物理服务器的 CPU 上运行多个虚拟机（VM）
- 虚拟化允许应用程序在 VM 之间隔离，并提供一定程度的安全
- 一个应用程序的信息不能被另一应用程序随意访问。
- 虚拟化技术能够更好地利用物理服务器上的资源
- 因为可轻松地添加或更新应用程序，所以可以实现更好的可伸缩性，降低硬件成本等等。
- 每个 VM 是一台完整的计算机，在虚拟化硬件之上运行所有组件，包括其自己的操作系统。

缺点：虚拟层冗余导致的资源浪费与性能下降

容器部署时代：
- 容器类似于 VM，但可以在应用程序之间共享操作系统（OS）。
- 容器被认为是轻量级的。
- 容器与 VM 类似，具有自己的文件系统、CPU、内存、进程空间等。
- 由于它们与基础架构分离，因此可以跨云和 OS 发行版本进行移植。
- 参照【Docker隔离原理- namespace 6项隔离（资源隔离）与 cgroups 8项资源限制（资源限制）】

裸金属：真正的物理服务器

容器优势：

敏捷性 敏捷应用程序的创建和部署：与使用 VM 镜像相比，提高了容器镜像创建的简便性和效率。
及时性 持续开发、集成和部署：通过快速简单的回滚（由于镜像不可变性），支持可靠且频繁的容器镜像构建和部署。
**解耦性：**关注开发与运维的分离：在构建/发布时创建应用程序容器镜像，而不是在部署时。从而将应用程序与基础架构分离。
可观测性 可观察性不仅可以显示操作系统级别的信息和指标，还可以显示应用程序的运行状况和其他指标信号。
跨平台 跨开发、测试和生产的环境一致性：在便携式计算机上与在云中相同地运行。
可移植 跨云和操作系统发行版本的可移植性：可在 Ubuntu、RHEL、CoreOS、本地、 Google Kubernetes Engine 和其他任何地方运行。
简易性 以应用程序为中心的管理：提高抽象级别，从在虚拟硬件上运行 OS 到使用逻辑资源在 OS 上运行应用程序。
大分布式 松散耦合、分布式、弹性、解放的微服务：应用程序被分解成较小的独立部分，并且可以动态部署和管理 - 而不是在一台大型单机上整体运行。
隔离性 资源隔离：可预测的应用程序性能。
高效性 资源利用：高效率和高密度

1.2、定义

Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态系统。Kubernetes 的服务、支持和工具广泛可用。

1.3、Kubernetes提供的功能

服务发现和负载均衡
Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。
存储编排
Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。
自动部署和回滚
你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器，删除现有容器并将它们的所有资源用于新容器。
自动完成装箱计算
Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。当容器指定了资源请求时，Kubernetes 可以做出更好的决策来管理容器的资源。
自我修复
Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。
密钥与配置管理
Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥

为了生产环境的容器化大规模应用编排，必须有一个自动化的框架或系统

2、虚拟机快速搭建k8s集群

2.1、虚拟机配置（centos7 2G内存2个处理器）

建议最小硬件配置：2核CPU、2G内存、20G硬盘服务器最好可以访问

名称	IP
master	192.168.40.128
node01	192.168.40.129
node02	192.168.40.130

2.2、基础环境准备

为三台虚拟机设置主机名
hostnamectl set-hostname k8s-master / k8s-node01 / k8s-node02 ==> 三台主机分别设置主机名
hostnamectl status
echo “127.0.0.1 $(hostname)” >> /etc/hosts

关闭 selinux
sed -i ‘s/enforcing/disabled/’ /etc/selinux/config
setenforce 0

关闭 swap
swapoff -a
sed -ri ‘s/.swap./#&/’ /etc/fstab

将桥接的 IPv4 流量传递到 iptables 的链
修改 /etc/sysctl.conf
如果有配置，则修改
sed -i “s#^net.ipv4.ip_forward.#net.ipv4.ip_forward=1#g" /etc/sysctl.conf
sed -i "s#^net.bridge.bridge-nf-call-ip6tables.#net.bridge.bridge-nf-call-ip6tables=1#g” /etc/sysctl.conf
sed -i “s#^net.bridge.bridge-nf-call-iptables.#net.bridge.bridge-nf-call-iptables=1#g" /etc/sysctl.conf
sed -i "s#^net.ipv6.conf.all.disable_ipv6.#net.ipv6.conf.all.disable_ipv6=1#g” /etc/sysctl.conf
sed -i “s#^net.ipv6.conf.default.disable_ipv6.#net.ipv6.conf.default.disable_ipv6=1#g" /etc/sysctl.conf
sed -i "s#^net.ipv6.conf.lo.disable_ipv6.#net.ipv6.conf.lo.disable_ipv6=1#g” /etc/sysctl.conf
sed -i “s#^net.ipv6.conf.all.forwarding.*#net.ipv6.conf.all.forwarding=1#g” /etc/sysctl.conf
可能没有，追加
echo “net.ipv4.ip_forward = 1” >> /etc/sysctl.conf
echo “net.bridge.bridge-nf-call-ip6tables = 1” >> /etc/sysctl.conf
echo “net.bridge.bridge-nf-call-iptables = 1” >> /etc/sysctl.conf
echo “net.ipv6.conf.all.disable_ipv6 = 1” >> /etc/sysctl.conf
echo “net.ipv6.conf.default.disable_ipv6 = 1” >> /etc/sysctl.conf
echo “net.ipv6.conf.lo.disable_ipv6 = 1” >> /etc/sysctl.conf
echo “net.ipv6.conf.all.forwarding = 1” >> /etc/sysctl.conf
执行命令以应用
sysctl -p

2.3、docker安装（易踩坑）

# 1.卸载旧的版本
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
# 2.安装基本的安装包
sudo yum install -y yum-utils
# 3.设置镜像仓库
sudo yum-config-manager \
    --add-repo \
    https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 阿里云镜像
# 更像软件包索引  
yum makecache fast  
# 4.安装docker引擎
yum install docker-ce docker-ce-cli containerd.io  # docker-ce 社区版 ee 企业版
# 5.启动Docker
systemctl enable docker && systemctl start docker  # 代表启动成功
# 6.测试docker可以docker的常用命令
docker version
docker images
docker ps
# 7.配置镜像加速
#配置docker加速
cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
# 重启docker
systemctl restart docker
# 查看docker信息
docker info

2.4、安装k8s组件

配置软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装指定版本并启动

yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0
systemctl enable kubelet && systemctl start kubelet

2.5、master节点部署

192.168.40.128换成自己主节点的IP地址

kubeadm init \
 --apiserver-advertise-address=192.168.40.128 \
 --image-repository registry.aliyuncs.com/google_containers \
 --kubernetes-version v1.23.0 \
 --service-cidr=10.96.0.0/12 \
 --pod-network-cidr=10.244.0.0/16 \
 --ignore-preflight-errors=all

######按照提示继续######
## init完成后第一步：复制相关文件夹
## To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
## 导出环境变量
## Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf

2.6、部署网络插件

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

2.7、2台node节点的虚机加入主节点

##在两台node节点虚拟机上执行master节点kubeadm init 后生成的join代码
kubeadm join 192.168.40.128:6443 --token ixvxxd.oamu833eimbkvwt6 --discovery-token-ca-cert-hash sha256:fb6c95e8999315d12267287162973c08e319c731ac5f706d22199b2dfe08b8c2 
**建议先重启node上的kubeadm**
kubeadm reset

## 过期怎么办
kubeadm token create --print-join-command
kubeadm token create --ttl 0 --print-join-command
kubeadm join --token y1eyw5.ylg568kvohfdsfco --discovery-token-ca-cert-hash sha256: 6c35e4f73f72afd89bf1c8c303ee55677d2cdb1342d67bb23c852aba2efc7c73

2.8、验证集群是否部署成功

#获取所有节点
kubectl get nodes

#给节点打标签
## k8s中万物皆对象。node:机器  Pod：应用容器
###加标签
kubectl label node k8s-02 node-role.kubernetes.io/worker=''
###去标签
kubectl label node k8s-02 node-role.kubernetes.io/worker-
## k8s集群，机器重启了会自动再加入集群，master重启了会自动再加入集群控制中心

2.9、设置ipvs模式

k8s整个集群为了访问通；默认是用iptables,性能下（kube-proxy在集群之间同步iptables的内容）

#1、查看默认kube-proxy 使用的模式
kubectl logs -n kube-system kube-proxy-28xv4
#2、需要修改 kube-proxy 的配置文件,修改mode 为ipvs。默认iptables，但是集群大了以后就很慢
kubectl edit cm kube-proxy -n kube-system
修改如下
   ipvs:
      excludeCIDRs: null
      minSyncPeriod: 0s
      scheduler: ""
      strictARP: false
      syncPeriod: 30s
    kind: KubeProxyConfiguration
    metricsBindAddress: 127.0.0.1:10249
    mode: "ipvs"
 ###修改了kube-proxy的配置，为了让重新生效，需要杀掉以前的Kube-proxy
 kubectl get pod -A|grep kube-proxy
 kubectl delete pod kube-proxy-pqgnt -n kube-system
### 修改完成后可以重启kube-proxy以生效