文章目录
前言
一:LVS-DR工作原理
1.1:DR模式概述
- 负载均衡群集工作模式–直接路由(Direct Routing)
- 简称DR模式,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
- 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
1.2:如何分析LVS-DR数据包流向?
-
为方便进行原理分析,将 Client与群集机器放在同一网络中,数据包流经的路线为1-2-3-4
-
- 1.Client向目标VIP发出请求, Director(负载均衡器)接收。此时IP包头及数据帧头信息为:
- 2 .Director根据负载均衡算法选择 Realserver_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送。IP包头及数据帧头信息如下:
-
3.RealServer_1收到这个帧,解封装后发现目标IP与本机匹配( RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网。此时IP包头及数据帧头信息为:.
-
4.Client将收到回复报文。 Client认为得到正常的服务,而不会知道是哪一台服务器处理的
注意:如果跨网段,那么报文通过路由器经由 terne返回给用户
1.3:LVS-DR中存在的ARP问题
-
在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址
-
在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱
- 当一个ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上的,它们都会接收到ARP广播
- 此时只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播
-
对节点服务器进行处理,使其不响应针对VIP的ARP请求
- 使用虚接口lo:0承载ⅥP地址
- 设置内核参数 arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
-
RealServe返回报文(源IP是VIP)经路由器转发,在重新封装报文时需要先获取路由器的MAC地址
-
发送ARP请求时, Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口(例如ens33)的IP地址
-
路由器收到ARP请求后,将更新ARP表项
-
原有的VIP对应 Director的MAC地址会被更新为ⅥP对应RealServer的MAC地址
-
此时新来的请求报文,路由器根据ARP表项,会将该报文转发给RealServer,从而导致 Director的VIP失效
-
解决办法
对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
3.4:解决上述两个ARP问题的方法
- 修改/etc/sysctl.conf文件
- 对节点服务器进行处理,使其不响应针对VIP的ARP请求
- net.ipv4.conf.lo.arp_ignore = 1
- net.ipv4.conf.lo.arp_announce = 2
- 系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
- net.ipv4.conf.all.arp_ignore = 1
- net.ipv4.conf.all.arp_announce = 2
二:LVS-DR部署
2.1:实验环境
- 为了进一步提高公司网站的负载能力,公司决定扩展现有的网站平台,基于LVS构筑负载均衡群集。考虑到群集的访问效率,管理员准备采用LVS群集的DR模式,共享存储设备存放在内部专有网络中
- LVS1:192.168.100.100
- LVS2:192.168.100.110
- Web1:192.168.100.200
- Web2:192.168.100.222
- VIP=192.168.100.10
- Win 10 :192.168.100.50
2.2:实验拓扑图
2.3:实验目的
- win10客户机通过访问lvs调度器漂移IP地址可以成功访问web节点服务器内容
2.4:实验过程
2.4.1:调度器配置
-
两台LVS服务器都安装工具包
[root@lvs1 ~]# yum install keepalived ipvsadm -y '//keepalived:双机热备要用到的,ipvsadm:调度管理要用' [root@lvs2 ~]# yum install keepalived ipvsadm -y
-
两台LVS服务器都开启路由转发,关闭重定向
[root@lvs1 ~]# vim /etc/sysctl.conf '//尾行插入下段配置' net.ipv4.ip_forward = 1 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.default.send_redirects = 0 net.ipv4.conf.ens33.send_redirects = 0 [root@lvs1 ~]# sysctl -p '//重载配置,使之生效' net.ipv4.ip_forward = 1 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.default.send_redirects = 0 net.ipv4.conf.ens33.send_redirects = 0
-
两台LVS服务器都创建脚本便于service管理
[root@lvs1 network-scripts]# vim /etc/init.d/dr.sh '//编辑以下脚本内容' #!/bin/bash GW=192.168.100.1 VIP=192.168.100.10 ##虚拟ip RIP1=192.168.100.200 ##真实web服务器ip RIP2=192.168.100.222 case "$1" in start) /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm ##保存配置 systemctl start ipvsadm ##启动服务 /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up ##设置ens33:0地址,广播地址,子网掩码,并开启 /sbin/route add -host $VIP dev ens33:0 ##添加路由网段信息 /sbin/ipvsadm -A -t $VIP:80 -s rr ##指定虚拟服务访问入口,指定轮询算法 /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g ##指定真实服务器,dr模式 /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g echo "ipvsadm starting --------------------[ok]" ;; stop) /sbin/ipvsadm -C ##清空缓存 systemctl stop ipvsadm ##关闭服务 ifconfig ens33:0 down ##关闭接口 route del $VIP ##删除路由信息 echo "ipvsamd stoped----------------------[ok]" ;; status) if [ ! -e /var/lock/subsys/ipvsadm ];then ##判断文件存在与否决定状态 echo "ipvsadm stoped---------------" exit 1 else echo "ipvsamd Runing ---------[ok]" fi ;; *) echo "Usage: $0 {start|stop|status}" exit 1 esac exit 0 [root@lvs1 network-scripts]# chmod +x /etc/init.d/dr.sh
-
两台LVS服务器都修改网卡为仅主机模式
-
两台LVS服务器都为ens33配置IP地址、ens33:0配置ⅥP地址
[root@lvs1 ~]# cd /etc/sysconfig/network-scripts/ [root@lvs1 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0 [root@lvs1 network-scripts]# vim ifcfg-ens33:0 '//配置虚拟ip地址' '//删除原本内容,添加以下配置' DEVICE=ens33:0 ONBOOT=yes IPADDR=192.168.100.10 NETMASK=255.255.255.0 [root@lvs1 network-scripts]# vim ifcfg-ens33 '//...省略内容,修改为static' BOOTPROTO=static '//...省略内容,尾行添加内容' IPADDR=192.168.100.100 NETMASK=255.255.255.0 GATEWAY=192.168.100.1 [root@lvs2 network-scripts]# vim ifcfg-ens33 '//注意lvs2的IP地址为192.168.100.110' IPADDR=192.168.100.110
-
两台LVS服务器都重启各项配置
[root@lvs1 network-scripts]# systemctl restart network [root@lvs1 network-scripts]# ifup ens33:0 [root@lvs1 network-scripts]# service dr.sh start ipvsadm starting --------------------[ok] [root@lvs1 network-scripts]# systemctl stop firewalld.service [root@lvs1 network-scripts]# setenforce 0
2.4.2:配置两台节点IP地址绑定VIP
-
LVS-DR中,两台节点服务器要配置绑定VIP地址
-
VIP地址仅用作Web响应数据包的源地址,并不监听客户机的访问请求
-
都修改为仅主机模式
-
两台节点服务器为ens33配置IP地址,为lo:0配置VIP地址
[root@web1 ~]# cd /etc/sysconfig/network-scripts/ [root@web1 network-scripts]# cp -p ifcfg-lo ifcfg-lo:0 [root@web1 network-scripts]# vim ifcfg-lo:0 DEVICE=lo:0 IPADDR=192.168.100.10 NETMASK=255.255.255.0 ONBOOT=yes [root@web1 network-scripts]# vim ifcfg-ens33 '//...省略内容,修改为static' BOOTPROTO=static '//...省略内容,尾行添加内容' IPADDR=192.168.100.200 NETMASK=255.255.255.0 GATEWAY=192.168.100.1 '//其中web2服务器修改为192.168.100.222' IPADDR=192.168.100.222
2.4.3:节点服务器配置抑制ARP响应
-
配置抑制ARP脚本 [root@web1 network-scripts]# vim /etc/init.d/web.sh #!/bin/bash VIP=192.168.100.10 case "$1" in start) ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP /sbin/route add -host $VIP dev lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore '//arp忽略' echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1 echo "RealServer Start OK " ;; stop) ifconfig lo:0 down route del $VIP /dev/null 2>&1 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore '//arp开启' echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce echo "RealServer Stopd" ;; *) echo "Usage: $0 {start|stop}" exit 1 esac exit 0 [root@web1 network-scripts]# chmod +x /etc/init.d/web.sh
2.4.4:两台节点服务器配置测试网址
-
在两台节点服务器上安装配置并启用httpd服务器,分别创建测试网页,测试网页内容要不相同,以区别不同的节点服务器
[root@web1 ~]# yum install httpd -y [root@web2 ~]# yum install httpd -y [root@web1 ~]# vim /var/www/html/index.html <h1>this is web1 web</h1> [root@web2 ~]# vim /var/www/html/index.html <h1>this is web2 web</h1>
-
重启各项服务
[root@web1 network-scripts]# systemctl restart network [root@web1 network-scripts]# ifup lo:0 [root@web1 network-scripts]# service web.sh start RealServer Start OK [root@web1 network-scripts]# systemctl start httpd [root@web1 network-scripts]# systemctl stop firewalld.service [root@web1 network-scripts]# setenforce 0
2.5:实验验证
-
修改win10主机IP地址
-
使用win10访问192.168.100.10验证
-
访问成功