LVS负载均衡
LVS简介
LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。
基于NAT的LVS模式负载均衡
NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图2所示，LVS负载调度器可以使用两块网卡配置不同的IP地址，eth0设置为私钥IP与内部网络通过交换设备相互连接，eth1设备为外网IP与外部网络联通。
第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。
第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。
第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。
LVS负载均衡调度算法
1.轮询调度
轮询调度（Round Robin 简称’RR’）算法就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是实现简单。轮询算法假设所有的服务器处理请求的能力都一样的，调度器会将所有的请求平均分配给每个真实服务器。
2.加权轮询调度
加权轮询（Weight Round Robin 简称’WRR’）算法主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值为2，则调度器调度到服务器B的请求会是服务器A的两倍。权值越高的服务器，处理的请求越多。
3.最小连接调度
最小连接调度（Least Connections 简称’LC’）算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态的调度算法，它通过服务器当前活跃的连接数来估计服务器的情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中断或者超时，其连接数减1。
（集群系统的真实服务器具有相近的系统性能，采用最小连接调度算法可以比较好地均衡负载。)
4.加权最小连接调度
加权最少连接（Weight Least Connections 简称’WLC’）算法是最小连接调度的超集，各个服务器相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
5.基于局部的最少连接
基于局部的最少连接调度（Locality-Based Least Connections 简称’LBLC’）算法是针对请求报文的目标IP地址的 负载均衡调度，目前主要用于Cache集群系统，因为在Cache集群客户请求报文的目标IP地址是变化的。这里假设任何后端服务器都可以处理任一请求，算法的设计目标是在服务器的负载基本平衡情况下，将相同目标IP地址的请求调度到同一台服务器，来提高各台服务器的访问局部性和Cache命中率，从而提升整个集群系统的处理能力。LBLC调度算法先根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则使用’最少连接’的原则选出一个可用的服务器，将请求发送到服务器。
6.带复制的基于局部性的最少连接
带复制的基于局部性的最少连接（Locality-Based Least Connections with Replication 简称’LBLCR’）算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统，它与LBLC算法不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。按’最小连接’原则从该服务器组中选出一一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按’最小连接’原则从整个集群中选出一台服务器，将该服务器加入到这个服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
7.目标地址散列调度
目标地址散列调度（Destination Hashing 简称’DH’）算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。
8.源地址散列调度U
源地址散列调度（Source Hashing 简称’SH’）算法先根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同，它的算法流程与目标地址散列调度算法的基本相似。
9.最短的期望的延迟
最短的期望的延迟调度（Shortest Expected Delay 简称’SED’）算法基于WLC算法。举个例子吧，ABC三台服务器的权重分别为1、2、3 。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用SED算法后会进行一个运算
A：（1+1）/1=2 B：（1+2）/2=3/2 C：（1+3）/3=4/3 就把请求交给得出运算结果最小的服务器。
10.最少队列调度
最少队列调度（Never Queue 简称’NQ’）算法，无需队列。如果有realserver的连接数等于0就直接分配过去，不需要在进行SED运算。
LVS负载均衡群集与LVS-NAT部署实战配置
服务器准备
| 服务器 | IP | 软件包 |
|---|---|---|
| lvs负载均衡器 | ens33：192.168.99.116、ens38：192.168.116.12/24 | ipvsadm |
| 客户端windows | 192.168.116.10(vmnet2) | |
| web1节点服务器1 | 192.168.116.122 | httpd |
| web1节点服务器2 | 192.168.116.139 | httpd |
| nfs服务器 | 192.168.116.137 | nfs |
部署共享存储（NFS服务器）
#关闭防火墙、安全机制
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#安装nfs-utils.x86_64 rpcbind.x86_64
yum -y install nfs-utils.x86_64 rpcbind.x86_64
开启nfs
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
#创建共享目录、赋予权限
mkdir /opt/blue /opt/summer
chmod 777 /opt/blue/ /opt/summer/
#创建共享文件及地址
vim /etc/exports
/usr/share *(ro,sync)
/opt/blue 192.168.99.0/24(rw,sync)
/opt/summer 192.168.99.0/24(rw,sync)
#发布共享
exportfs -rv
#查看共享
showmount -e
配置节点服务器（后端服务器）
#关闭防火墙、安全机制
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
修改网卡网关为LVS服务器
GATEWAY=192.168.99.116
systemctl restart network
#安装nfs-utils rpcbind
yum install -y nfs-utils rpcbind
systemctl start rpcbind.service
systemctl enable rpcbind.service
web1
mount.nfs 192.168.99.137:/opt/blue /var/www/html/
yum install -y httpd
echo 'this is blue' > /var/www/html/index.html
web2
mount.nfs 192.168.99.137:/opt/summer /var/www/html/
#写入
echo 'this is summer' > /var/www/html/index.html
lvs负载调度器
给lvs负载调度器的虚拟机添加一张仅主机的网卡
#复制网卡、修改地址等
cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/networkscripts/
ifcfg-ens38
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens38
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens38"
#UUID="8369f0a8-315e-4fe0-985f-1d6375dad3fa"
DEVICE="ens38"
ONBOOT="yes"
IPADDR="192.168.116.12"
NETMASK="255.255.255.0"
开启服务器的转发功能
#系统配置文件，用于配置内核参数。在这个文件中，可以设置各种系统参数，以影响 Linux 内核的行为
# 永久
vim /etc/sysctl.conf
#控制是否启用 IP 转发功能。当这个参数的值为 1 时，表示启用 IP 转发；当值为 0 时，表示禁用 IP
转发。
net.ipv4.ip_forward=1
#查看
sysctl -p
net.ipv4.ip_forward = 1
地址转换（iptables）
#清除iptables的规则、策略
iptables -t nat -F
#查看清除后的iptables
iptables -F
#查看nat规则
iptables -t nat -nL
#配置转发规则
iptables -t nat -A POSTROUTING -s 192.168.99.0/24 -o ens38 -j SNAT --to-source 192.168.116.12
#nat表:修改数据包中的源、目标IP地址或端口
#POSTROUTING: 在进行路由判断之"后"所要进行的规则(SNAT/MASQUERADE)
#PREROUTING: 在进行路由判断之"前"所要进行的规则(DNAT/REDIRECT)
#-A: 在规则链的末尾加入新规则
#-s: 匹配来源地址IP/MASK.
#-o 网卡名称匹配从这块网卡流出的数据
#-i 网卡名称匹配从这块网卡流入的数据
#-j 控制类型
加载ip_vs内核模块
#手动加载ip_vs模块
modprobe ip_vs
#查看ip_vs版本信息
cat /proc/net/ip_vs
通过ipvsadm配置负载均衡策略
yum install -y ipvsadm
#注意：启动服务前必须保存负载分配策略，否则将会报错
ipvsadm-save > /etc/sysconfig/ipvsadm
或者
ipvsadm --save > /etc/sysconfig/ipvsadm
或者
touch /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
ipvsadm -C
ipvsadm -A -t 192.168.116.12:80 -s rr
ipvsadm -a -t 192.168.116.12:80 -r 192.168.99.139:80 -m -w 1
ipvsadm -a -t 192.168.116.12:80 -r 192.168.99.122:80 -m -w 1
-a: 表示添加一个新的转发规则。
-t 10.0.0.1:80: 客户端地址和端口。
-r 192.168.198.11:80: 目标服务器地址和端口。
-m: 表示使用 NAT 模式。在这种模式下，客户端请求的源地址会被 NAT（Network Address
Translation）为负载均衡器的地址。
-w 1: 指定了权重为 1，表示该服务器的转发权重为 1。在负载均衡中，权重越高的服务器会收到更多的请
求。
这条命令的作用是将来自于 192.168.116.12:80 的客户端请求通过 IPVS 负载均衡器转发到
192.168.99.139:80 的服务器上，并使用 NAT 模式，其中服务器的权重为 1
#启动策略
ipvsadm
#查看节点状态，Masq代表 NAT模式
ipvsadm -ln
#保存策略
ipvsadm-save > /etc/sysconfig/ipvsadm
测试
浏览器输入192.168.116.12，刷新浏览器测试负载均衡
2.理论知识总结
2.1 集群和什么场景使用
集群就是将多台主机作为一个整体对外提供相同的服务
2.2 集群分类(三种)
- 负载均衡器主要是 减少响应延迟，提供并发处理能力强调
- 高可用主要是系统稳定性，减少服务中断时间，减少损失
- 高性能主要是高性能运算能力 分布式的并发
2.3 负载均衡集群的架构
用户通过VRRP进行访问负载调度器是通过调度算法，以及RIP发送节点服务池是所有服务器用的资源通过共享存储是提供网站 ，存储资源
2.4 负载均衡集群工作模式
- 地址转换(NAT模式)
调度作为网关，是访问请求的入口。也是响应访问的出口，在高并发场景当中负载压力很高，NAT地址转换可以提高安全性 - IP隧道（TUN模式）
仅是访问请求的入口，响应数据不经过调度器，但是需要大量的公网地址IP，还需要专用的IP隧道（成本太高）数据转发受IP隧道的影响 - 直接路由（DR模式）
仅是访问请求的入口，响应数据不经过调度器，节点服务器和调度器在同一个物理网络中数据转发不受额外影响（因为同在公网中）
2.5 内核态、用户态
2.5.1 内核态、用户态概念
- 内核态：也叫内核空间，是内核进程/线程所在的区域。主要负责运行系统、硬件交互。
- 用户态：也叫用户空间，是用户进程/线程所在的区域。主要用于执行用户程序。
2.5.2 内核态和用户态的区别
内核态：运行的代码不受任何限制，CPU可以执行任何指令。
用户态：运行的代码需要受到CPU的很多检查，不能直接访问内核数据和程序，也就是说不可以像内核态线程一样访问任何有效地址。
操作系统在执行用户程序时，主要工作在用户态，只有在其执行没有权限完成的任务时才会切换到内核态。
2.5.3 为什么要区分内核态和用户态
保护机制。防止用户进程误操作或者是恶意破坏系统。内核态类似于C++的私有成员，只能在类内访问，用户态类似于公有成员，可以随意访问。
2.5.4 用户态切换到内核态的方式
- 系统调用（主动：由于用户态无法完成某些任务，用户态会请求切换到内核态，内核态通过为用户专门开放的中断完成切换。
- 异常（被动）：在执行用户程序时出现某些不可知的异常，会从用户程序切换到内核中处理该异常的程序，也就是切换到了内核态。
点服务器和调度器在同一个物理网络中数据转发不受额外影响（因为同在公网中）
