1、Kind 介绍
官方文档地址:https://kind.sigs.k8s.io/
github仓库地址:https://github.com/kubernetes-sigs/kind
国内镜像仓库地址:https://gitcode.com/gh_mirrors/ki/kind/overview
kind 是一种使用 Docker 容器 nodes 运行本地 Kubernetes 集群的工具。 kind 主要是为了测试 Kubernetes 自身而设计的,但它也可用于本地开发或 CI。
k8s集群的组成比较复杂,如果纯手工部署的话易出错且时间成本高。比如我曾在pvc和vmware平台上进行过集群的搭建,创建虚拟机本身就需要一定的时间成本。
而本文介绍的Kind工具,能够快速的建立起可用的k8s集群,降低初学者的学习门槛。
Kind是Kubernetes In Docker的缩写,顾名思义,看起来是把k8s放到docker的意思。没错,kind创建k8s集群的基本原理就是:提前准备好k8s节点的镜像,通过docker启动容器,来模拟k8s的节点,从而组成完整的k8s集群。需要注意,kind创建的集群仅可用于开发、学习、测试等,不能用于生产环境。
1.2 Kind 功能
- 快速创建集群:通过简单的命令行操作,快速创建单节点或多节点的Kubernetes集群。
- 多版本支持:可以创建不同版本的Kubernetes集群,便于测试应用在新旧版本Kubernetes上的兼容性。
- 集群配置:支持通过配置文件自定义集群的各种参数,包括节点数量、镜像、网络插件等。
- 节点管理:可以方便地查看和管理集群中的各个节点,包括添加、删除节点等操作。
- 集成开发环境:适用于本地开发,可直接在集群中部署和调试应用,快速迭代。
- CI/CD集成:由于其轻量级和标准化的特点,非常适合集成到持续集成/持续部署流程中,自动化测试Kubernetes应用。
1.3 Kind 优点
- 简易安装和配置:kind极大地简化了Kubernetes集群的搭建过程,只需要Docker环境即可快速启动一个Kubernetes集群,无需额外的虚拟机或复杂的配置。
- 轻量级:由于是在Docker容器中运行,kind消耗的系统资源相对较少,适合在开发机器上运行,便于进行本地开发和测试。
- 灵活性:用户可以自定义集群配置,包括使用的Kubernetes版本、集群的网络插件、额外的容器运行时配置等,满足不同的测试和开发需求。
- 集成测试:对于CI/CD流程而言,kind提供了标准化的Kubernetes环境,有助于进行集成测试和验证应用在不同Kubernetes版本下的兼容性。
- 可扩展性:kind支持自定义集群配置文件,方便集成其他工具和服务,如Prometheus监控、Istio服务网格等,进行更复杂的测试和实验。
1.4、Kind 缺点
- 性能限制:虽然kind适合开发和测试,但由于所有的节点都在同一个宿主机上运行,受制于宿主机资源,可能无法模拟生产环境的性能特征,也不适合高负载测试。
- 网络复杂性:虽然kind支持多种网络插件,但与物理或VM-based集群相比,其网络行为可能有所不同,可能会影响到一些对网络有特定要求的应用的测试。
- 资源隔离限制:因为所有组件运行在相同的宿主机上,资源隔离不如使用虚拟机的解决方案彻底,可能会出现容器间资源竞争的情况。
1.5、Kind 工作原理
Kind 使用容器来模拟每一个 Kubernetes 节点,并在容器里面运行 Systemd 。
容器里的 Systemd 托管了 Kubelet 和 Containerd ,然后容器内部的 Kubelet 把其它 Kubernetes 组件: Kube-Apiserver 、 Etcd 、 CNI 等等组件运行起来。
Kind 内部使用了 Kubeadm 这个工具来做集群的部署,包括高可用集群也是借助 Kubeadm 提供的特性来完成的。在高用集群下还会额外部署了一个 Nginx 来提供负载均衡 VIP。
2、Kind 使用
2.1 支持的指令
kind
kind creates and manages local Kubernetes clusters using Docker container 'nodes'
Usage:
kind [command]
Available Commands:
build Build one of [node-image]
completion Output shell completion code for the specified shell (bash, zsh or fish)
create Creates one of [cluster]
delete Deletes one of [cluster]
export Exports one of [kubeconfig, logs]
get Gets one of [clusters, nodes, kubeconfig]
help Help about any command
load Loads images into nodes
version Prints the kind CLI version
Flags:
-h, --help help for kind
--loglevel string DEPRECATED: see -v instead
-q, --quiet silence all stderr output
-v, --verbosity int32 info log verbosity, higher value produces more output
--version version for kind
Use "kind [command] --help" for more information about a command.
简单说下几个比较常用选项的含义:
- build:用来从 Kubernetes 源代码构建一个新的镜像。
- create:创建一个 Kubernetes 集群。
- delete:删除一个 Kubernetes 集群。
- get:可用来查看当前集群、节点信息以及 Kubectl 配置文件的地址。
- load:从宿主机向 Kubernetes 节点内导入镜像。
kind创建的集群也是使用kubectl老进行客户端安装的,因此需要先进行该工具的安装,可以直接执行命令进行安装:
sudo snap install kubectl --classic
2.2 新建k8s集群
先看一下目前本地的docker 镜像和容器信息:
~/workspace/king-devops git:[master]
sudo docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
~/workspace/king-devops git:[master]
sudo docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
本地是一个新的开发环境,所有很干净,如果需要清理本地的docker环境的话,可以参考下面的shell:
# 删除容器,支持多个
docker rm containerId1 containerId2
# 删除所有未使用的镜像
docker image prune -a
由于dockerhub被墙,这里找到一个国内的源:https://docker.aityp.com/image/docker.io/kindest/node:v1.31.0
先docker 拉取该源,并修改tag:
sudo docker pull m.daocloud.io/docker.io/kindest/node:v1.31.0
sudo docker tag m.daocloud.io/docker.io/kindest/node:v1.31.0 docker.io/kindest/node:v1.31.0
sudo docker rmi m.daocloud.io/docker.io/kindest/node:v1.31.0
结果:
sudo docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
kindest/node v1.31.0 b5cb8c3b1441 7 weeks ago 1.03GB
2.2.1 创建一个简单的k8s集群
命令:
命令:
sudo kind create cluster --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
参数解释:
- –image可以执行指定不同版本的镜像
- –name可以指定集群名
结果:
sudo kind create cluster --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
✓ Ensuring node image (kindest/node:v1.31.0) 🖼
✓ Preparing nodes 📦
✓ Writing configuration 📜
✓ Starting control-plane 🕹️
✓ Installing CNI 🔌
✓ Installing StorageClass 💾
Set kubectl context to "kind-myk8s-test"
You can now use your cluster with:
kubectl cluster-info --context kind-myk8s-test
Have a nice day! 👋
Exporting logs for cluster "myk8s-test" to:
/tmp/972923639
查看通过kind创建的集群:
sudo kind get clusters
myk8s-test
已经成功创建了一个集群,并且集群名就是我们通过–name参数设置的。
查看容器信息:
sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8c764a962ab3 kindest/node:v1.31.0 "/usr/local/bin/entr…" 2 minutes ago Up 2 minutes 127.0.0.1:41625->6443/tcp myk8s-test-control-plane
新增了一个容器,并且
通过其容器名myk8s-test-control-plane,也可以与咱们创建的集群,对应上。
根据提示使用集群:
sudo kubectl cluster-info --context kind-myk8s-test
这里实际上是设置kubectl的上下文,后面直接试使用kubectl就可以访问该集群,效果与kubectl --kubeconfig=xxx
一样.
查看集群节点:
sudo kubectl get nodes
NAME STATUS ROLES AGE VERSION
myk8s-test-control-plane Ready control-plane 7m48s v1.31.0
查看集群全部的pod:
sudo kubectl get pods -A -owide
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
kube-system coredns-6f6b679f8f-psnlz 1/1 Running 0 8m3s 10.244.0.2 myk8s-test-control-plane <none> <none>
kube-system coredns-6f6b679f8f-q5p5w 1/1 Running 0 8m3s 10.244.0.3 myk8s-test-control-plane <none> <none>
kube-system etcd-myk8s-test-control-plane 1/1 Running 0 8m11s 172.18.0.2 myk8s-test-control-plane <none> <none>
kube-system kindnet-vtcxf 1/1 Running 0 8m3s 172.18.0.2 myk8s-test-control-plane <none> <none>
kube-system kube-apiserver-myk8s-test-control-plane 1/1 Running 0 8m10s 172.18.0.2 myk8s-test-control-plane <none> <none>
kube-system kube-controller-manager-myk8s-test-control-plane 1/1 Running 0 8m10s 172.18.0.2 myk8s-test-control-plane <none> <none>
kube-system kube-proxy-2w5hj 1/1 Running 0 8m3s 172.18.0.2 myk8s-test-control-plane <none> <none>
kube-system kube-scheduler-myk8s-test-control-plane 1/1 Running 0 8m10s 172.18.0.2 myk8s-test-control-plane <none> <none>
local-path-storage local-path-provisioner-57c5987fd4-tjc2v 1/1 Running 0 8m3s 10.244.0.4 myk8s-test-control-plane <none> <none>
这里可以发现,该有的组件都有了。就是一个完整的master节点。
删除集群:
sudo kind delete cluster --name myk8s-test
2.2.2 创建一个一主二从的k8s集群
创建一个 test1.yaml 的文件,内容如下:
kind: Cluster
# 一共三个节点,一个主节点,两个从节点
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane # 主节点
- role: worker # 从节点
- role: worker # 从节点
执行命令创建文件并将内容保存:
echo 'kind: Cluster
# 一共三个节点,一个主节点,两个从节点
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane # 主节点
- role: worker # 从节点
- role: worker # 从节点' > test1.yaml
创建一主二从集群:
sudo kind create cluster --config=test1.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
结果:
sudo kind create cluster --config=test1.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
✓ Ensuring node image (kindest/node:v1.31.0) 🖼
✓ Preparing nodes 📦 📦 📦
✓ Writing configuration 📜
✓ Starting control-plane 🕹️
✓ Installing CNI 🔌
✓ Installing StorageClass 💾
✓ Joining worker nodes 🚜
Set kubectl context to "kind-myk8s-test"
You can now use your cluster with:
kubectl cluster-info --context kind-myk8s-test
Have a question, bug, or feature request? Let us know! https://kind.sigs.k8s.io/#community 🙂
Exporting logs for cluster "myk8s-test" to:
/tmp/1302378959
查看容器信息:
sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
454b36b7bcb1 kindest/node:v1.31.0 "/usr/local/bin/entr…" 2 minutes ago Up 2 minutes myk8s-test-worker2
13f56b739d18 kindest/node:v1.31.0 "/usr/local/bin/entr…" 2 minutes ago Up 2 minutes 127.0.0.1:38485->6443/tcp myk8s-test-control-plane
a8c6155a6ada kindest/node:v1.31.0 "/usr/local/bin/entr…" 2 minutes ago Up 2 minutes myk8s-test-worker
使用该集群:
sudo kubectl cluster-info --context kind-myk8s-test
Kubernetes control plane is running at https://127.0.0.1:38485
CoreDNS is running at https://127.0.0.1:38485/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
查看节点信息:
sudo kubectl get nodes
NAME STATUS ROLES AGE VERSION
myk8s-test-control-plane Ready control-plane 3m21s v1.31.0
myk8s-test-worker Ready <none> 3m10s v1.31.0
myk8s-test-worker2 Ready <none> 3m10s v1.31.0
查看pod信息:
sudo kubectl get pods -A -owide
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
kube-system coredns-6f6b679f8f-h42zh 1/1 Running 0 3m35s 10.244.0.2 myk8s-test-control-plane <none> <none>
kube-system coredns-6f6b679f8f-jt79q 1/1 Running 0 3m35s 10.244.0.3 myk8s-test-control-plane <none> <none>
kube-system etcd-myk8s-test-control-plane 1/1 Running 0 3m41s 172.18.0.4 myk8s-test-control-plane <none> <none>
kube-system kindnet-2mcxh 1/1 Running 0 3m35s 172.18.0.4 myk8s-test-control-plane <none> <none>
kube-system kindnet-54n6f 1/1 Running 0 3m32s 172.18.0.3 myk8s-test-worker2 <none> <none>
kube-system kindnet-vgvqd 1/1 Running 0 3m32s 172.18.0.2 myk8s-test-worker <none> <none>
kube-system kube-apiserver-myk8s-test-control-plane 1/1 Running 0 3m41s 172.18.0.4 myk8s-test-control-plane <none> <none>
kube-system kube-controller-manager-myk8s-test-control-plane 1/1 Running 0 3m41s 172.18.0.4 myk8s-test-control-plane <none> <none>
kube-system kube-proxy-nh7hg 1/1 Running 0 3m32s 172.18.0.2 myk8s-test-worker <none> <none>
kube-system kube-proxy-qftvw 1/1 Running 0 3m32s 172.18.0.3 myk8s-test-worker2 <none> <none>
kube-system kube-proxy-wkkt7 1/1 Running 0 3m35s 172.18.0.4 myk8s-test-control-plane <none> <none>
kube-system kube-scheduler-myk8s-test-control-plane 1/1 Running 0 3m41s 172.18.0.4 myk8s-test-control-plane <none> <none>
local-path-storage local-path-provisioner-57c5987fd4-nwtgv 1/1 Running 0 3m35s 10.244.0.4 myk8s-test-control-plane <none> <none>
删除集群:
sudo kind delete cluster --name myk8s-test
Deleting cluster "myk8s-test" ...
Deleted nodes: ["myk8s-test-worker2" "myk8s-test-control-plane" "myk8s-test-worker"]
2.2.3 创建一个高可用的k8s集群
创建一个 test2.yaml 的文件,一共六个节点,三个 control-plane 节点,三个 workers 节点,内容如下:
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: control-plane
- role: worker
- role: worker
- role: worker
执行命令创建文件并将内容保存:
echo 'kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: control-plane
- role: worker
- role: worker
- role: worker' > test2.yaml
创建高可用集群:
sudo kind create cluster --config=test2.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
结果:
sudo kind create cluster --config=test2.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
✓ Ensuring node image (kindest/node:v1.31.0) 🖼
✗ Preparing nodes 📦 📦 📦 📦 📦 📦
ERROR: failed to create cluster: command "docker run --name myk8s-test-external-load-balancer --hostname myk8s-test-external-load-balancer --label io.x-k8s.kind.role=external-load-balancer --detach --tty --label io.x-k8s.kind.cluster=myk8s-test --net kind --restart=on-failure:1 --init=false --cgroupns=private --publish=127.0.0.1:35199:6443/TCP docker.io/kindest/haproxy:v20230606-42a2262b" failed with error: exit status 125
Command Output: Unable to find image 'kindest/haproxy:v20230606-42a2262b' locally
docker: Error response from daemon: Get "https://registry-1.docker.io/v2/": context deadline exceeded (Client.Timeout exceeded while awaiting headers).
See 'docker run --help'.
Exporting logs for cluster "myk8s-test" to:
/tmp/2092938174
看报错是访问镜像kindest/haproxy:v20230606-42a2262b
时没有找到,我们还通过国内镜像仓库进行拉取:
sudo docker pull m.daocloud.io/docker.io/kindest/haproxy:v20230606-42a2262b
sudo docker tag m.daocloud.io/docker.io/kindest/haproxy:v20230606-42a2262b docker.io/kindest/haproxy:v20230606-42a2262b
sudo docker rmi m.daocloud.io/docker.io/kindest/haproxy:v20230606-42a2262b
确定下上面是否有创建出来集群,如果有,则先删除一下:
sudo kind get clusters
myk8s-test
sudo kind delete cluster --name myk8s-test
重新执行创建高可用集群的创建:
sudo kind create cluster --config=test2.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
✓ Ensuring node image (kindest/node:v1.31.0) 🖼
✓ Preparing nodes 📦 📦 📦 📦 📦
✓ Configuring the external load balancer ⚖️
✓ Writing configuration 📜
✓ Starting control-plane 🕹️
✓ Installing CNI 🔌
✓ Installing StorageClass 💾
✓ Joining more control-plane nodes 🎮
✓ Joining worker nodes 🚜
Set kubectl context to "kind-myk8s-test"
You can now use your cluster with:
kubectl cluster-info --context kind-myk8s-test
Have a nice day! 👋
Exporting logs for cluster "myk8s-test" to:
/tmp/4229211329
备注:我在创建多master节点时,遇见了问题,我测试了下面的几个组合:
- 二主二从:失败
- 三主:成功
- 三主一从:失败
- 二主三从:成功
- 二主四从:失败
- 三主三从:失败
- 三主二从:失败
这里有官网的配置:
https://kind.sigs.k8s.io/docs/user/quick-start/#control-plane-ha
我最终调整为了二主三从的规格创建集群,这个应该是一些原因导致的创建失败。
因为同一份配置,在我的mac电脑上是完全ok的,顺利的创建三主三从的高可用集群。
一般的测试场景中,一主多从已经完全满足使用了,这里也不做过多深入考究了。
2.3 导出kind集群kubeconfig
sudo kind export kubeconfig --name=myk8s-test --kubeconfig=$HOME/.kube/config