k8s--集群调度(kube-scheduler)

了解kube-scheduler

由之前博客可知kube-scheduler是k8s中master的核心组件之一

scheduler:负责调度资源。把pod调度到node节点。他有两种策略:

预算策略:人为部署,指定node节点去部署新建的pod

优先策略:通过算法选择一个负载最小,资源最充沛的资源去部署。

k8s中List-watch

k8s集群当中,通过list-watch的机制进行每个组的写作,保持数据同步。这种设计可以实现每个组件之间的解耦(解耦:减少每个组件之间的关联性)。

kubectl来配置文件,向APIServer发送命令----apiserver把命令发送到各个组件。

kubectl run nginx --image=nginx:1.22-------apiserver------controller manager------scheduler-------kubelet.。

创建成功之后,kubectl get pod kubectl describe pod nginx-------保存到etcd当中

以上过程是list-watch会在每一步把监听的消息(APIserver:6443)-------controller manager,scheduler,kubelet,etcd都会监听apiserver:6443

工作流程图:

注意:在创建 Pod 的工作就已经完成了后,为什么 kubelet 还要一直监听呢?原因很简单,假设这个时候 kubectl 发命令,要扩充 Pod 副本数量,那么上面的流程又会触发一遍,kubelet 会根据最新的 Pod 的部署情况调整 Node 的资源。又或者 Pod 副本数量没有发生变化,但是其中的镜像文件升级了,kubelet 也会自动获取最新的镜像文件并且加载。
 

2.调度的过程和策略

scheduler是k8s集群的调取器,把pod分配到集群的节点。

以下几个问题需要考虑:

1.公平:每个节点都能够分配资源。

2.资源高效利用:集群当中的资源可以被最大化利用

3.效率:调度的性能要搞好。能够尽快的完成大批量的pod的调度工作。

4.灵活:允许用户根据自己的需求,控制和改变调度的逻辑。

scheduler是一个单独运行的程序,启动之后就会一直监听APIserver,获取报文中的字段:spec.modeName

创建pod时候,为每个pod创建一个binding,表示该往哪个节点上部署。

创建pod到节点时,有两个策略:先执行预算策略再执行优先策略。这两步都必须成功,否则立刻返回报错。

也就是说,部署的node,必须满足这两个策略。

预算策略:

predicate自带一些算法来选择node节点(scheduler自带的算法策略。不需人工干预)

  • 1.podfitsresoureces:Pod的适应资源,检测节点上剩余测资源是否满足pod请求的资源主要是cpu和内存。
  • 2.podfitshost:pod适应主机,如果pod指定了node的name。
  • nginx1 pod---> node01,检测主机名是否存在,存在要和pod指定的名称匹配,这才能调度过去。
  • 3.podselectormatches:pod选择器匹配,创建pod的时候可以根据node的标签来进行匹配。查找指定的node节点上标签是否存在,存在的标签是否匹配。
  • 4.nodiskconflict:无磁盘冲突,确保已挂载的卷与pod的卷不发生冲突,除非目录是只读。

只有上述策略完成,才回到优先策略。如果预算策略都不满足,pod将始终处于pending状态,不断地重试调度,直到有节点满足条件为止。

如果node1,node2,node3经过预算策略,上述三个节点都满足条件----》优先策略

优先策略

leastreaquestedpriority:

最低请求优先级,通过算法计算节点上的cpu和内存使用率,确定节点的权重。

使用率越低的节点相应的权重就越高。调度时会更倾向于使用率低的节点。实现资源合理的利用。

balancersourceallocation:

平衡资源分配,考虑cpu和内存的使用率,给节点赋予权重。权重算的是cpu和内存使用率接近。使用率越接近,权重越高。

和上面的leastreaquestedpriority最低请求优先级一起使用。

举个例子,有node1,node2两个节点,资源分别是:

node1 cpu和内存使用率: 20:60

node2 cpu和内存使用率: 50:50

node2再被调度时会被优先

imagelocalitypriority:

节点上是否已经有了要部署的镜像。镜像的总数成正比,满足的镜像数越多,权重越高。

以上这些策略scheduler自带的算法。

通过预算选择出可以部署的节点,再通过优先选择出来最好的节点,以上都是自带的算法。k8s集群自己来选择。

总的来说:

预选策略 :通过调度算法过滤掉不满足条件的Node节点

优选策略 :通过优先级选项给满足调度条件的Node节点进行优先级权重排序,最终选择优先级最高的Node节点来调度Pod

如何指定节点部署

指定节点配置需要在spec模块中参数设置:

nodeName:node02

首先,我们为了防止缩进错误,用生成的yaml文件修改:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
    template:
      metadata:
        labels:
          app: nginx
      spec:
        containers:
        - image: nginx:1.22
          name: nginx
        nodeName: node02

如果指定了节点,在参数中设置了nodeName,指定了节点的名称,会跳过scheduler调度策略。这个规则是强制匹配

如何指定标签部署

我们可以通过以下命令查看node的标签

kubectl get nodes --show-labels

我们可以在命令行给node添加标签

kubectl label nodes node02 test3=c

已经部署的服务器的标签

已经部署的服务器的标签

节点资源不够会进入pending

指定节点标签部署pod,是要经过scheduler的算法,如果节点不满足条件,pod会进入penging状态,直到节点条件满足为止。

k8s集群的亲和性

软策略和硬策略

node节点亲和性:

preferredDuringSchedulingIgnoredDuringExecution软策略:

选择node节点时,我声明了我最好能部署在node01,软策略会尽量满足这个条件。不一定会完全部署在node01节点上。

requiredDuringSchedulingIgnoredDuringExecution硬策略:

选择pod时,声明了node01,我是硬策略,必须满足硬策略的条件。必须部署在node01,强制性要求

pod的亲和性

preferredDuringSchedulingIgnoredDuringExecution软策略

要求调度器将pod调度到其他pod的亲和性匹配的节点上。可以是,也可以不是,尽量满足

pod nginx1 node01

pod nginx2 node02 希望和nginx1部署在一个节点,尽量满足

requiredDuringSchedulingIgnoredDuringExecution硬策略

pod nginx1 node01

pod nginx2 node02 必须要和nginx的亲和性匹配,只能往node01。

键值的运算关系

标签:都是根据标签开选择亲和性。

In:在

选择的标签值在node节点上存在。

Notin:不在

选择label的值不在node节点上

Gt:大于,大于选择的标签值

Lt:小于,小于选择标签值。

Exists:存在,选择标签对象,值不考虑。

DoesNotExit:选择不具有指定表

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      nodeSelector:
        test01: a
      containers:
      - image: nginx:1.22
        name: nginx
      affinity:
#选择亲和性部署方式
        nodeAffintity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
选择了亲和性nodeSelectorsTerms你要选择哪个nodez作为node为硬策略,匹配的节点标签
            - matchExpressions:
定义一个符合我要选择的node节点的信息
              - key: test3
                operator: In(NotIn)
指定键值对的算法
                values:
                - c
                
wq

删除标签

kubectl label nodes node01 test2-

              - key: memory
                operator: Gt
                values:
                - "612"
wq                
kubectl label nodes node02 memory=1000

Gt:大于,大于选择的标签值

Lt:小于,小于选择标签值。

只能比较整数值

亲和性策略根据标签来选择。

Exists:存在,选择标签对象,值不考虑。

DoesNotExit:选择不具有指定表

              - key: memory
                operator: Exists
                values:
                - "612"
wq
kubectl apply -f test1.yaml
会报错,因为不能有值

所以:
              - key: memory
                operator: Exists
指定键值对的算法为Exists  or  DoesNotExists不能使用values字段。

软策略

     affinity:
#选择亲和性部署方式
        nodeAffintity:
          preferredDuringSchedulingIgnoredDuringExecution:
         -weight: 1
选择软策略之后要加上权重
         preference:
选择节点的倾向,尽量满足要求而不是一定。        
选择了亲和性nodeSelectorsTerms你要选择哪个nodez作为node为硬策略,匹配的节点标签
            - matchExpressions:
定义一个符合我要选择的node节点的信息
              - key: memory
                operator: DoesNotExist

                
wq

多个软策略通过什么匹配?

      affinity:
#选择亲和性部署方式
        nodeAffintity:
          preferredDuringSchedulingIgnoredDuringExecution:
         - weight: 1
 
选择软策略之后要加上权重
         preference:
选择节点的倾向,尽量满足要求而不是一定。        
选择了亲和性nodeSelectorsTerms你要选择哪个nodez作为node为硬策略,匹配的节点标签
            - matchExpressions:
定义一个符合我要选择的node节点的信息
              - key: memory
                operator: DoesNotExist
                preferredDuringSchedulingIgnoredDuringExecution:
         - weight: 10
           preference:
             matchExpressions:
             - key: memory
               operator: In
               values:
               - "500"
               
多个软策略以权重高的为标的

软硬策略结合的话结果是什么?

      affinity:
        nodeAffintity:
          preferredDuringSchedulingIgnoredDuringExecution:
         - weight: 1
 
         preference:
            - matchExpressions:
              - key: memory
                operator: Exists
               values:
               - "1000"
                requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: memory
               operator: In
               values:
               - "500"
               
               wq
               
kubectl apply -f test1.yaml

多个软策略看权重,权重高,执行指定的软策略。

硬策略:先满足硬策略,硬策略一个都不满足才会执行软策略。

你在部署的时候选择一个什么样的策略:

node亲和性:性能不一致,我尽量把pod往性能高的多部署,软策略

节点故障或者节点维护,只能选择硬策略,把节点故障剔除。

举例子:

4/8G 4/8G 2/4G

node1 node2 node3

性能不一致的时候最好使用软策略

如果其中一个node 挂了,可以使用硬策略来指定部署。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/302664.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

FineBI实战项目一(11):每日不同商品分类订单个数统计

1 明确数据分析目标 统计所有订单中的每种分类对应的商品的个数,构建词云图 2 创建用于保存数据分析结果的表 create table app_cat_cnt(id int primary key auto_increment,daystr varchar(20),catName varchar(100),cnt int ); 3 编写SQL语句进行数据分析 se…

亲测有效:腾讯云免费服务器30天申请流程

腾讯云免费服务器申请入口 https://curl.qcloud.com/FJhqoVDP 免费服务器可选轻量应用服务器和云服务器CVM,轻量配置可选2核2G3M、2核8G7M和4核8G12M,CVM云服务器可选2核2G3M和2核4G3M配置,腾讯云百科txybk.com分享2024年最新腾讯云免费服务器…

「MCU」SD NAND芯片之国产新选择优秀

文章目录 前言 传统SD卡和可贴片SD卡 传统SD卡 可贴片SD卡 实际使用 总结 前言 随着目前时代的快速发展,即使是使用MCU的项目上也经常有大数据存储的需求。可以看到经常有小伙伴这样提问: 大家好,请问有没有SD卡芯片,可以…

程序员必备的面试技巧

程序员必备的面试技巧 程序员必备的面试技巧,就像是编写一段完美的代码一样重要。在面试战场上,我们需要像忍者一样灵活,像侦探一样聪明,还要像无敌铁金刚一样坚定。只有掌握了这些技巧,我们才能在面试的舞台上闪耀光…

C# .Net学习笔记—— 异步和多线程(Task)

一、概念 Task是DotNet3.0之后所推出的一种新的使用多线程的方式,它是基于ThreadPool线程进行封装的。 二、使用多线程的时机 任务能够并发运行的时候,提升速度;优化体验 三、基本使用方法 private void button5_Click(object sender, Ev…

猫头虎分享已解决Bug || Go Error: cannot use str (type string) as type int in assignment

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通Golang》…

以太网交换基础

0x00 前言 以为主要的作用的笔记的记忆,所以多为问答的形式进行记录。 什么是以太网? 以太网是一种局域网技术,用于链接终端,进行网络通信。 什么是冲突域? 冲突域是指连接在同一公共介质上的所有节点的集合。 就…

静态网页设计——多彩贵州(HTML+CSS+JavaScript)(dw、sublime Text、webstorm、HBuilder X)

前言 声明:该文章只是做技术分享,若侵权请联系我删除。!! 感谢大佬的视频:https://www.bilibili.com/video/BV1cK411v7R2/?vd_source5f425e0074a7f92921f53ab87712357b 源码:https://space.bilibili.com…

Spring——Spring的事务控制(2)升级篇

1.改造转账案例 1.1.applicationContext.xml <!--配置事物管理器--><bean class"org.springframework.jdbc.datasource.DataSourceTransactionManager"><property name"dataSource" ref"dataSource"/></bean><!--配…

matlab使用PhysioNet的WFDB工具箱

目录 PhysioNet 官方安装示例 PhysioNet 官方 官方的文档&#xff1a;Waveform Database Software Package (WFDB) for MATLAB and Octave 简介&#xff1a;用于MATLAB的WFDB工具箱是用于读取、写入和操作&#xff08;处理&#xff09;PhysioNet数据的MATLAB函数的集合&#x…

python爬取豆瓣影评,涉及知识点:bs4,requests、time、random

页面源代码: <!DOCTYPE html> <html lang="zh-CN" class="ua-windows ua-webkit"> <head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><meta name="renderer" conten…

Python单继承,子类调用父类方法,使用super关键字

但是这么写话还是并不符合我们平时写代码的规范&#xff0c;一般都是用super来调用&#xff0c;贴代码&#xff1a; # 面向对象的3大特征&#xff1a;继承性&#xff0c;封装性&#xff0c;多态性 class Human():sum1 0def __init__(self, name, age):self.name nameself.ag…

Codeforces Round 646 (Div. 2) C. Game On Leaves

题目链接&#xff1a;Problem - 1363C - Codeforces 题意&#xff1a;给定一颗树和一个节点x&#xff0c;每次从这棵树上删除一个叶子节点及其任何一条连接的边&#xff0c;Ayush先手&#xff0c;问谁先取到节点x。 博弈论问题&#xff0c;先看两个样例是如何取到的。 对于样例…

【Spring】17 @Component 注解

文章目录 1. 定义2. 好处3. 示例代码4. 组件命名总结 在 Spring 框架中&#xff0c; Component 注解是一个 通用的注解&#xff0c;用于标识一个类为 Spring 容器管理的 组件。它就可以让这个类成为 Spring IoC 容器中的一个 Bean&#xff0c;并允许 通过扫描机制自动发现和…

IIC Master 设计实现

写个IIC的主机来玩一玩。 仅100M时钟输入SCL波形工整&#xff0c;任意两个上升沿之间均为整数倍周期&#xff0c;占空比50%发送数据时SDA严格对其到SCL低电平正中间尽可能少的状态机不浪费资源数据逻辑和时序逻辑分离 接口设计中&#xff0c;我的思路是将数据与时序分离开&am…

群晖安装MariaDB

群晖安装MariaDB 在套件中心安装MariaDB给root开启远程访问权限使用工具连接数据库 在套件中心安装MariaDB 给root开启远程访问权限 # ssh 登陆群晖后执行下面操作 $ mysql -uroot -p[数据库密码] $ use mysql; $ select User,authentication_string,Host from user; # 查看账…

服务端性能测试——性能测试体系

目录&#xff1a; 1.性能测试介绍 性能测试介绍性能体系&#xff1a;性能测试与分析优化&#xff1a;行业流行性能压测工具介绍行业流行性能监控工具介绍行业流行性能剖析工具介绍性能测试流程与方法性能测试计划 计划&#xff1a;DAU&#xff0c;PV(perday)&#xff0c;订单量…

大模型LLM训练的数据集

引言 2021年以来&#xff0c;大预言模型的开发和生产使用呈现出爆炸式增长。除了李开复、王慧文、王小川等“退休”再创业的互联网老兵&#xff0c;在阿里巴巴、腾讯、快手等互联网大厂的中高层也大胆辞职&#xff0c;加入这波创业浪潮。 通用大模型初创企业MiniMax完成了新一…

使用 matlab 求解最小二乘问题

有约束线性最小二乘 其标准形式为&#xff1a; min ⁡ x 1 2 ∥ C x − d ∥ 2 2 \mathop {\min }\limits_x \quad \frac{1}{2}\left\| Cx-d \right\|_2^2 xmin​21​∥Cx−d∥22​ 约束条件为&#xff1a; A ⋅ x ≤ b A e q ⋅ x b e q l b ≤ x ≤ u b \begin{aligned} …

黑马苍穹外卖学习Day3

目录 公共字段自动填充问题分析实现思路代码实现 新增菜品需求分析和设计接口设计代码开发开发文件上传接口功能开发 菜品分页查询需求分析和设计代码开发 菜品删除功能需求分析与设计代码实现代码优化 修改菜品需求分析和设计代码实现 公共字段自动填充 问题分析 员工表和分…