在LVS（Linux Virtual Server）负载均衡中的DR（Direct Routing）模式下，数据包的流向如下：

1. 客户端发送请求到负载均衡器（LVS）的虚拟IP（VIP）。
2. 负载均衡器（LVS）接收到请求后，根据负载均衡算法选择一个后端服务器（Real Server）。
3. 负载均衡器（LVS）将请求的目标MAC地址修改为所选后端服务器（Real Server）的MAC地址，并将数据包转发给后端服务器。
4. 后端服务器接收到请求后，处理请求并生成响应。
5. 后端服务器将响应发送回负载均衡器（LVS）。
6. 负载均衡器（LVS）接收到响应后，将响应的源MAC地址修改为负载均衡器（LVS）的MAC地址，并将响应转发给客户端。
7. 客户端接收到响应并处理。

在DR模式下，负载均衡器（LVS）只负责将请求转发给后端服务器，并将响应转发回客户端，而不会修改数据包的IP地址。这意味着后端服务器和客户端直接通信，负载均衡器（LVS）只在请求和响应的转发过程中起到中间转发的作用，减少了负载均衡器的处理负担，提高了性能和吞吐量。

需要注意的是，在DR模式下，后端服务器必须配置正确的网络路由，以确保响应数据包能够正确返回给客户端。此外，负载均衡器（LVS）和后端服务器之间需要通过网络隔离，以避免数据包循环和冲突。

DR 模式的特点：
（1）Director Server 和 Real Server 必须在同一个物理网络中。
（2）Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
（3）Director Server作为群集的访问入口，但不作为网关使用。
（4）所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
（5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。
（6）Real Server 上的 lo 接口配置 VIP 的 IP 地址。

DR模式中需要解决的问题：

问题一：
在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。
当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播。
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。
解决方式：
对节点服务器进行处理，使其不响应针对VIP的ARP请求。
使用虚拟接口lo:0承载VIP地址，设置内核参数arp_ignore=1
作用:系统只响应目的IP为本地lP的ARP请求。

问题二：
Real Server返回报文(源IP是VIP)经网关路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址
解决方式：
使用Real Server 的物理网卡地址（即RIP）作为响应报文的IP，这样就不会导致网关服务器的ARP缓存表的紊乱。
设置内核参数arp_announce=2 使系统不使用IP包的源地址（VIP）来作为本机进行ARP请求的源IP地址，而选择发送接口的IP地址。

配置步骤：
-----------------DR模式 LVS负载均衡群集部署-----------------------------------
配置所需主机：
DR 服务器：20.0.0.102
Web 服务器1：20.0.0.103
Web 服务器2：20.0.0.104
vip：20.0.0.12
NFS共享服务器：20.0.0.101

一.配置负载调度器（20.0.0.102）

systemctl stop firewalld.service  #关闭防火墙
setenforce 0 #将selinx 安全机制调为0
modprobe ip_vs #加载ip_vs内核模块，启用IPVS（IP Virtual Server）功能。
cat /proc/net/ip_vs #显示当前系统中的IPVS配置。列出IPVS的相关信息，如虚拟服务器、真实服务器和负载均衡算法等。
yum -y install ipvsadm #使用yum包管理器安装ipvsadm工具。ipvsadm是一个命令行工具，用于配置和管理IPVS。

（1）配置虚拟 IP 地址（VIP：20.0.0.12）

cd /etc/sysconfig/network-scripts/：切换到网络配置文件目录。

cp ifcfg-ens33 ifcfg-ens33:0：复制名为ifcfg-ens33的网络配置文件为ifcfg-ens33:0。这将创建一个名为ens33:0的虚拟网络接口配置文件。

vim ifcfg-ens33:0：使用vim编辑器打开ifcfg-ens33:0配置文件。

在ifcfg-ens33:0配置文件中，添加以下内容：

DEVICE=ens33:0
ONBOOT=yes
IPADDR=20.0.0.12
NETMASK=255.255.255.255
这些配置将设置虚拟网络接口ens33:0的设备名称、启动时自动激活、IP地址和子网掩码。

ifup ens33:0：激活ens33:0虚拟网络接口。这将使配置的IP地址生效。

ifconfig ens33:0：显示ens33:0虚拟网络接口的详细信息，包括IP地址、子网掩码等。

（2）调整 proc 响应参数

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，需要关闭 icmp 的重定向，不充当路由器。
vim /etc/sysctl.conf  使用vim编辑器打开sysctl.conf文件
在sysctl.conf文件中，添加以下内容：
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
以上这些配置将禁用IP转发和发送重定向

sysctl -p  重新加载sysctl.conf文件中的配置。使新的配置生效

（3）配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm  将当前的IPVS配置保存到/etc/sysconfig/ipvsadm文件中。这将创建一个名为ipvsadm的配置文件，其中包含当前的IPVS规则
systemctl start ipvsadm  启动ipvsadm服务。这将加载之前保存的IPVS配置，并开始使用IPVS进行负载均衡。
ipvsadm -C  清空当前的IPVS配置。删除所有的虚拟服务器和真实服务器配置。
ipvsadm -A -t 20.0.0.12:80 -s rr  添加一个名为20.0.0.12:80的虚拟服务器，并使用轮询（round-robin）算法进行负载均衡。这将创建一个新的虚拟服务器配置
ipvsadm -a -t 20.0.0.12:80 -r 20.0.0.103:80 -g			
ipvsadm -a -t 20.0.0.12:80 -r 20.0.0.104:80 -g 将真实服务器20.0.0.104:80添加到虚拟服务器20.0.0.12:80的后端组中。这将进一步扩展负载均衡，将流量分发到多个真实服务器，并使用源IP散列（source IP hash）算法进行负载均衡。请注意，如果您使用的是隧道模式，应将-g替换为-i。
ipvsadm  显示当前的IPVS配置。这将列出所有的虚拟服务器、真实服务器和负载均衡算法等详细信息

ipvsadm -ln					#查看节点状态，Route代表 DR模式

二.部署共享存储（NFS服务器：20.0.0.101）

systemctl stop firewalld.service
setenforce 0

yum -y install nfs-utils rpcbind  用yum包管理器安装nfs-utils和rpcbind软件包。这些软件包提供了NFS（Network File System）和RPC（Remote Procedure Call）的相关工具和服务。
mkdir /opt/kgc /opt/benet 创建/opt/kgc和/opt/benet目录。这些目录将用于共享文件系统
chmod 777 /opt/kgc /opt/benet 将/opt/kgc和/opt/benet目录的权限设置为777。这将允许任何用户对这些目录进行读取、写入和执行操作。

vim /etc/exports  使用vim编辑器打开/etc/exports文件。这个文件用于配置NFS共享。
在/etc/exports文件中，添加以下内容：
/usr/share *(ro,sync)
/opt/kgc 20.0.0.0/24(rw,sync)
/opt/benet 20.0.0.0/24(rw,sync)
这些配置将定义NFS共享的目录和访问权限。第一行将/usr/share目录以只读方式共享给所有主机。第二行将/opt/kgc目录以读写方式共享给20.0.0.0/24网段的主机。第三行将/opt/benet目录以读写方式共享给20.0.0.0/24网段的主机。

systemctl start nfs.service 启动nfs服务。这将启动NFS服务器，并开始共享配置的目录。
systemctl start rpcbind.service 启动rpcbind服务。这将启动RPC绑定服务，以便NFS服务器可以与客户端进行通信。

三.配置节点服务器（20.0.0.103、20.0.0.104）

systemctl stop firewalld.service 
setenforce 0
（1）配置虚拟 IP 地址（VIP：20.0.0.12）
#此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。
cd /etc/sysconfig/network-scripts/   切换到/etc/sysconfig/network-scripts/目录
cp ifcfg-lo ifcfg-lo:0		复制ifcfg-lo文件为ifcfg-lo:0。这将创建一个名为ifcfg-lo:0的新文件，用于配置虚拟接口
vim ifcfg-lo:0 使用vim编辑器打开ifcfg-lo:0文件。
在ifcfg-lo:0文件中，添加以下内容：

DEVICE=lo:0
ONBOOT=yes
IPADDR=20.0.0.12
NETMASK=255.255.255.255						#注意：子网掩码必须全为 1
以上这些配置将定义虚拟接口lo:0的设备名称、启动时自动激活、IP地址和子网掩码。

ifup lo:0  激活虚拟接口lo:0。这将启用新配置的虚拟接口。
ifconfig lo:0 显示虚拟接口lo:0的配置信息。这将列出虚拟接口的IP地址、子网掩码等详细信息
route add -host 20.0.0.12 dev lo:0  添加一个路由规则，将主机20.0.0.12的流量通过虚拟接口lo:0发送。这将确保流量正确地通过虚拟接口。

vim /etc/rc.local  使用vim编辑器打开/etc/rc.local文件
在/etc/rc.local文件中，添加以下内容：
/sbin/route add -host 20.0.0.12 dev lo:0

chmod +x /etc/rc.d/rc.local  将/etc/rc.local文件设置为可执行。这将确保在系统启动时自动执行其中的命令。

（2）调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突
vim /etc/sysctl.conf  使用vim编辑器打开/etc/sysctl.conf文件
......
在/etc/sysctl.conf文件中，添加以下内容：
net.ipv4.conf.lo.arp_ignore = 1			#系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2		#系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
以上这些配置将设置系统的ARP参数，以确保系统只响应目的IP为本地IP的ARP请求，并使用发送接口的IP地址作为ARP请求的源地址。
sysctl -p  重新加载sysctl.conf文件中的配置。这将使新的ARP参数生效

或者
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore：将虚拟接口lo的arp_ignore参数设置为1。

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce：将虚拟接口lo的arp_announce参数设置为2。

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore：将所有接口的arp_ignore参数设置为1。

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce：将所有接口的arp_announce参数设置为2。

sysctl -p：重新加载sysctl.conf文件中的配置。这将使新的ARP参数生效。

yum -y install nfs-utils rpcbind httpd：使用yum包管理器安装nfs-utils、rpcbind和httpd软件包。这些软件包提供了NFS、RPC和HTTP服务的相关工具和服务。

systemctl start rpcbind：启动rpcbind服务。这将启动RPC绑定服务，以便NFS服务器可以与客户端进行通信。

systemctl start httpd：启动httpd服务。这将启动Apache HTTP服务器。

--20.0.0.103---

mount.nfs 20.0.0.101:/opt/kgc /var/www/html 将20.0.0.101主机上的/opt/kgc目录挂载到本地的/var/www/html目录。这将使20.0.0.103主机上的Apache HTTP服务器可以访问/opt/kgc目录中的文件
echo 'this is kgc web!' > /var/www/html/index.html 将一条消息写入/var/www/html/index.html文件，以显示在浏览器中。

--20.0.0.104---
mount.nfs 20.0.0.101:/opt/benet /var/www/html 将20.0.0.101主机上的/opt/benet目录挂载到本地的/var/www/html目录。这将使20.0.0.104主机上的Apache HTTP服务器可以访问/opt/benet目录中的文件
echo 'this is benet web!' > /var/www/html/index.html 将一条消息写入/var/www/html/index.html文件，以显示在浏览器中。

4.测试 LVS 群集
在客户端使用浏览器访问 http://20.0.0.12/