文章目录
前言:
上篇博客介绍了LVS负载均衡群集的理论,并以其中NAT模式为例做了实验,具体可观看:https://blog.csdn.net/weixin_45726050/article/details/103993089,本篇将延续上篇内容,着重介绍LVS-DR、keepalived理论,并进行搭建部署以LVS-DR模式为基础加上keepalived辅助工具的实验。
一、LVS-DR工作原理
1.1 DR模式概述
-
负载均衡群集工作模式-直接路由(Direct Routing)
简称DR模式,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
负责调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
DR模式存在于私网,所有服务器都使用私有IP
负责调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
1.2 LVS-DR数据包流向分析
-
为方便进行原理分析,将client与群集机器放在同一网络种,数据包流经的路线为1-2-3-4
-
① Client向目标VIP发出请求,Director (负载均衡器)接收。此时IP包头及数据帧头信息为:
-
② Director根据负载均衡算法选择 Realserver_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后再局域网上发送。IP包头及数据帧头信息如下:
-
③ RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网。此时IP包头及数据帧头信息为:
-
④ Client将收到恢复报文。Client认为得到正常的服务,而不会知道是哪一台服务器处理的
需注意:如果跨网段,那么报文通过路由器经由internet返回给用户
1.3 LVS-DR种的APR问题
-
在LVS-DR负载均衡集群种,负载均衡器与节点服务器都要配置相同的VIP地址
-
在局域网中具有相同的IP,势必会造成个服务器ARP通信的紊乱
当一个ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上的,它们都会收到ARP广播
此时只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播
-
对节点服务器进行处理,使其不响应针对VIP的ARP请求
使用虚接口 lo:承载VIP地址
设置内核参数 arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
-
RealServer返回报文(源IP是VIP)经路由器转发,在重新封装报文时,需要先获取路由器的MAC地址
-
发送ARP请求时,Linux默认使用IP包的源IP地址 (即VIP) 作为ARP请求包种的源IP地址,而不适用发送接口(例如ens33)的IP地址
-
路由器收到ARP请求后,将更新ARP表项
-
原有的VIP对于 Director的MAC地址会被更新为VIP对于RealServer的MAC地址
-
此时新来的请求报文,路由器根据ARP表项,会将该报文转给RealServer,从而导致Director的VIP失效
-
解决办法:
对节点服务器进行处理,设置内核参数 arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
1.4 解决ARP的两个问题的设置方法
-
修改 /etc/sysctl.conf文件
对节点服务器进行处理,使其不响应针对VIP的ARP请求
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
系统不使用IP包的地址来设置ARP请求的源地址,而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
二、部署LVS-DR+keepalived实验
环境:五台虚拟机,2台作为LVS-DR+keepalived架构,2台作为web服务器,并使用win10模拟客户机访问
定位:
centos7-4 (LVS1)IP=192.168.100.100
centos7-5 (LVS2) IP=192.168.100.110
Web1:192.168.100.200
Web2:192.168.100.222
VIP:IP=192.168.100.10
Win10 :192.168.100.50
拓扑图:
2.1 配置LVS调度器
- 两台调度器安装keepalived和ipvsadm
[root@lvs1 ~]# yum install keepalived ipvsadm -y
2.1.1 修改路由配置文件
- 在两台LVS服务器上修改内核参数文件
[root@lvs1 ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1 #开启路由转发功能
net.ipv4.conf.all.send_redirects = 0 #关闭重定向功能
net.ipv4.conf.default.send_redirects = 0 #关闭重定向功能
net.ipv4.conf.ens33.send_redirects = 0 #关闭重定向功能
#启用重定向功能
[root@lvs1 ~]# sysctl -p
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
2.1.2 设置虚拟网卡
虚拟网卡有两种启用形式:
第一种是ifcfg ens33:0 (跟ip地址):此方式是临时定义,重启后不生效
第二种是定义一个配置文件,通过配置文件启动虚拟网卡
- 修改两台服务器的虚拟网卡配置文件
[root@lvs1 etc]# cd /etc/sysconfig/network-scripts/
[root@lvs1 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[root@lvs1 network-scripts]# vim ifcfg-ens33
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
#清除原内容,添加以上内容
- 在两台LVS服务器上定义启动脚本
[root@lvs2 network-scripts]# cd /etc/init.d/
[root@lvs2 init.d]# vim dr.sh
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.200
RIP2=192.168.100.222
case "$1" in
start)
/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
/sbin/route add -host $VIP dev ens33:0
/sbin/ipvsadm -A -t $VIP:80 -s rr
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
echo "ipvsadm starting-----------------------[ok]"
;;
stop)
/sbin/ipvsadm -C
systemctl stop ipvsadm
ifconfig ens33:0 down
route del $VIP
echi "ipvsamd stoped--------------------------[ok]"
;;
status)
if [ ! -e /var/lock/subsys/ipvsadm ];then
echo "ipvsadm stoped ---------------------"
exit 1
else
echo "ipvsadm Runing ----------[ok]"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
------------wq
[root@lvs2 init.d]# chmod +x dr.sh
上述配置完成后,即可便于service管理,同时将两台centos设置为仅主机模式
dr.sh脚本主要内容含义:
start)
GW=192.168.100.1 :GW网关 因为四台服务器没有做网关,但是连接了里面的路由器,做了NAT,所以需要网关
VIP=192.168.100.10:VIP 浮动IP 访问私有网段的唯一入口,定位web群集的关键,VIP的浮动地址由虚拟网卡ens33:0定义
RIP1=192.168.100.201、RIP2=192.168.100.202:2台RIP 节点服务器各自IP,需要保证在同一网段,或者保证和VIP能连通的网段
/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm:匹配start (为了防止出问题,需要保存配置,所以用–save > /etc/sysconfig/ipvsadm)
/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up:通过ens33:0设定VIP的广播地址并开启 (设置IP地址信息)
/sbin/route add -host $VIP dev ens33:0:添加网段信息 通过ens33:0访问VIP网段
/sbin/ipvsadm -A -t $VIP:80 -s rr、/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g、/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g:使用ipvsadm工具开启调度算法:“轮询” 访问两台节点服务器
stop)
/sbin/ipvsadm -C:清除所有缓存
systemctl stop ipvsadm:停止服务
ifconfig ens33:0 down:关闭虚拟网卡
route del $VIP:删除路由段
status)
if [ ! -e /var/lock/subsys/ipvsadm ];then:(布尔值:真/假判断)【判断ipvsadm文件不存在】,如判断成立则输出服务停止,因为服务只有在开启时才会产生ipvsamd 如果判断不成立则输出服务为开启状态
- 修改两台服务器网卡、启动LVS服务
直接使用正则表达式修改网卡
cd /etc/sysconfig/network-scripts/
sed -i '4s/dhcp/static/' ifcfg-ens33
cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 <<-EOF
IPADDR=192.168.100.100
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
EOF
service network restart
- 启动LVS服务
#LVS1服务器
[root@lvs1 network-scripts]# service dr.sh start
ipvsadm starting-----------------------[ok]
#LVS2服务器
[root@lvs1 network-scripts]# service dr.sh start
ipvsadm starting-----------------------[ok]
- 关闭防火墙、增强性安全功能
[root@lvs1 network-scripts]# systemctl stop firewalld.service
[root@lvs1 network-scripts]# setenforce 0
- 开启网卡与虚拟网卡
[root@lvs2 network-scripts]# systemctl restart network
[root@lvs2 network-scripts]# ifup ens33:0
注意:如果ens33:0虚拟网卡开启报错,重新开启网卡,然后再次尝试
2.2 配置web服务器
2.2.1 安装apache
[root@web1 ~]# yum install httpd -y
........省略部分内容
[root@web1 ~]# systemctl start httpd.service
[root@web1 ~]# systemctl stop firewalld.service
[root@web1 ~]# setenforce 0
- 在两台web服务器创建站点首页
[root@web1 ~]# cd /var/www/html
[root@web1 html]# echo "<h1>this is taob web</h1>" > index.html
[root@web2 ~]# cd /var/www/html
[root@web2 html]# echo "<h1>this is jingd web</h1>" > index.html
- 创建虚拟网卡
使用回环网卡作为模板创建虚拟网卡
[root@web1 html]# cd /etc/sysconfig/network-scritps
[root@web1 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
ONBOOT=yes
- 在两台web服务器上定义脚本,设置ARP忽略
[root@web1 network-scripts]# cd /etc/init.d/
[root@web1 init.d]# cat >> web.sh <<-EOF
> #!/bin/bash
> VIP=192.168.100.10
> case "$1" in
> start)
> ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP #开启虚拟IP
> /sbin/route add -host $VIP dev #开启网段访问 -host $VIP 能通过指定的虚拟IP,绑定在dev lo:0绑定执行的虚拟网卡上s
> echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
> echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
> echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
> echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
#以上四段都是定义ARP忽略
> sysctl -p > /dev/null 2>&1 #刷新启动
> echo "RealServer Start OK "
> ;;
> stop)
> ifconfig lo:0 down
> route del $VIP /dev/null 2>&1
> echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
> echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
> echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
> echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
> ;;
> *)
> echo "Usage: $0 {start | stop}"
> exit 1
> esac
> exit 0
> EOF
[root@web1 init.d]# chmod +x web.sh
第二台可直接远程推送过去
格式:scp /etc/init.d/web.sh [email protected]. 222:/etc/init.d/
- 修改两台web服务器网卡
#web1节点服务器
[root@web1 init.d]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# sed -i '4s/dhcp/static/' ifcfg-ens33
[root@web1 network-scripts]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 <<-EOF
> IPADDR=192.168.100.200
> NETMASK=255.255.255.0
> GATEWAY=192.168.100.1
> EOF
[root@web1 network-scripts]# ifup lo:0
[root@web1 network-scripts]# systemctl restart network
#web2节点服务器
[root@web2 init.d]# cd /etc/sysconfig/network-scripts/
[root@web2 network-scripts]# sed -i '4s/dhcp/static/' ifcfg-ens33
[root@web2 network-scripts]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 <<-EOF
> IPADDR=192.168.100.222
> NETMASK=255.255.255.0
> GATEWAY=192.168.100.1
> EOF
[root@web2 network-scripts]# ifup lo:0
[root@web2 network-scripts]# systemctl restart network
- 开启服务
#web1节点服务器
[root@web1 network-scripts]# service web.sh start
RealServer Start OK
#web2节点服务器
[root@web2 network-scripts]# service web.sh start
RealServer Start OK
以上DR模式节点部署完成,下面开始设置keepalived
2.3 部署keepalived
2.3.1 修改两台LVS调取器配置
在LVS1上配置
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1 #修改邮箱服务,将地址指向本机
smtp_connect_timeout 30 #连接超时时间
router_id LVS_01 #router_id标识,不可重复
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER #主LVS调度器为MASTER,备LVS调度器为BACKUP
interface ens33 #原端口为ehto,修改为ens33
virtual_router_id 10 #虚拟LVS组号,主、备服务器的组号要相同
priority 100 #优先级,备服务器要小于主服务器
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.100.10 #这里原有三个IP,删掉2个并且将第一个修改为虚拟VIP地址
}
}
virtual_server 192.168.100.10 80 { #虚拟服务配置项,将原ip修改为虚拟VIP地址,同时将端口修改为80端口(原为443 https)
delay_loop 6
lb_algo rr #轮询算法
lb_kind DR #将原NAT模式修改为DR模式
persistence_timeout 50
protocol TCP
real_server 192.168.100.200 80 { #web1节点配置
weight 1 #权重为1 (加权轮询会使用)
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.100.222 80 { #web2节点配置
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
LVS2调度器上与LVS1基本一致,不同处如下:
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
........省略内部分容
router_id LVS_02 #router_id不能与LVS1相同
........省略内部分容
vrrp_instance VI_1 {
state BACKUP #在LVS2的状态配置中修改为“BACKUP“备服务器
interface eth0
virtual_router_id 10c
priority 95 #优先级需要低于主服务器,建议修改为95
........省略内部分容
开启服务
[root@lvs1 ~]# systemctl start keepalived
[root@lvs2 ~]# systemctl start keepalived
2.4 验证
- 开启一台win10虚拟机
选择仅主机模式,同时将ip地址修改如下:
使用win10访问192.168.100.10
此时可以关闭主LVS调度服务器的漂移地址:ifdown ens33:0,模拟故障,同时再次使用win10进行访问,依然可以正常访问,此时双机热备成功
我们可以多次刷新,会显示另一台节点服务器的站点首页
总结
整体实验比较简单,中间有几个地方需要注意:
1、虚拟IP(浮动IP)必须相同(192.168.100.10)
2、在定义dr.sh 脚本时 GW、VIP、RIP1、RIP2等地址要填写正确(验证时无法访问的话,此处是一个检查点)
3、在修改两台LVS服务器keepalived双机热备的配置项时,要注意 “{}”的范围,不能缺少,同时,要注意 “router_id” 号不可重复,“virtual_router_id” 主备号必须相同,否则不在一个集群中
在修改 priority (优先级)中,备用LVS调度器的优先级建议设置为95,主LVS调度器的优先级为100,在默认情况下,在主调度器宕机时,主服务器的优先级会降10,如果与LVS2的优先级相同,也会导致验证时无法访问站点,需要重启服务。
4、因为虚拟机环境有的功能产生了一定的冲突,在我们完成实验、所有服务、网卡均开启、防火墙与增强性安全功能已关闭,同时配置项均正常的情况下出现:四台服务器无法互相ping 通,客户机(win10)无法ping通LVS服务器和虚拟IP或无法访问站点等问题。
遇到以上问题,可以尝试重启各项服务、down掉 lo:0尝试。