一、LVS-DR 工作原理
1.1 DR模式概述
- 负载均衡群集工作模式–直接路由(Direct Routing)
- 简称DR模式,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
- 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
1.2 数据包流量分析
- 为了方便分析,将客户端与群集机器放在同一网络中,如下图所示,数据包流经的路线为1-2-3-4
- 1、Client向目标VIP发出请求, Director(负载均衡器)接收。
- 2、 .Director根据负载均衡算法选择 Realserver_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送。
- 3、.RealServer_1收到这个帧,解封装后发现目标IP与本机匹配( RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网。
- 4、Client将收到回复报文。 Client认为得到正常的服务,而不会知道是哪一台服务器处理的
注意:如果跨网段,那么报文通过路由器经由 terne返回给用户
1.3 LVS-DR 中的ARP 问题
1.3.1 在局域网中具有相同ID地址
- 在LVS-DR的负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址
- 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱
当一个ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上的,它们都会接收到ARP广播
此时只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播
解决办法:
对节点服务器进行处理,使其不响应针对VIP的ARP请求
使用虚接口lo:0承载ⅥP地址
设置内核参数 arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
1.3.2 服务器回应客户端时
- RealServe返回报文(源IP是VIP)经路由器转发,在重新封装报文时需要先获取路由器的MAC地址
- 发送ARP请求时, Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口(例如ens33)的IP地址
- 路由器收到ARP请求后,将更新ARP表项,原有的VIP对应 Director的MAC地址会被更新为ⅥP对应RealServer的MAC地址,此时新来的请求报文,路由器根据ARP表项,会将该报文转发给RealServer,从而导致 Director的VIP失效。
解决办法:
对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
1.3.3 解决ARP的两个问题的设置方法
- 修改/etc/sysctl.conf
# 对节点服务器进行处理,使其不响应针对VIP的ARP请求
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
# 系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
二、Keepalived介绍
- 专为LVS和HA设计的一款健康检查工具
支持故障自动切换(Failover)
支持节点健康状态检查(Health Checking)
2.1 Keepalived实现原理剖析
- Keepalived 采用VRRP热备份协议实现Linux服务器的多级热备份功能
- VRRP(虚拟路由冗余协议)是针对路由器的一种备份解决方案
由多台路由器组成一个热备组,通过共用的虚拟IP地址对外服务
每个热备组内同时只有一台主路由器提供服务,其他路由处于冗余状态
若当前在线的路由器失效,则其他路由器会根据设置的优先级自动接替虚拟IP地址,继续提供服务
2.2 Keepalived 的配置项
- Keepalived配置目录位于/etc/keepalived
2.2.1 Keepalived.conf是主配置文件
global_defs{……} 区段指定全局配置参数
vrrp_instance 实例名称{……}区段指定VRRP 热备参数
注释文字以“!”符号开头
目录samples,提供了许多配置样例作为参考
2.2.2 常用配置项
router_id HA_TEST_R1: 本路由器(服务器)的名称,唯一
vrrp_instance VI_1 : 定义VRRP热备实例
state MASTER :热备状态,MASTER 表示主服务器,BACKUP 表示备用
interfance ens33 : 承载VIP 地址的物理接口
virtual_router_id 1: 虚拟路由的ID号(组号),每个热备保持一致
Priority 100: 优先级,数值越大,优先级越高,备份服务器需低于主服务器
advert_int 1: 通告间隔秒数(心跳频率)
auth_type PASS: 认证类型
virtual_ipaddress{vip}: 指定漂移地址(VIP),可以有多个
三、LVS-DR与Keepalived群集实验
3.1 实验环境
- 四台Centos 虚拟机 1台windows 系统虚拟机
- 两台Centos虚拟机分别做LVS的主备服务器DR1和DR2,两台CentOS 做服务器web1和web2,window系统做客户端
VTP 192.168.200.10
DR1: 192.168.200.100
DR2: 192.168.200.101
WEB1: 192.168.200.200
WEB2: 192.168.200.201
3.2 调度器的配置
- DR1和DR2 都需要进行下列操作
3.2.1 服务的安装与网卡配置
- 服务安装与限制重定向
yum install keepalived ipvsadm -y ## 两台都要安装
[root@localhost ~]# vim /etc/sysctl.conf ## 限制重定向
net.ipv4.ip_forward=1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p ## 生效
- 虚拟网卡的配置
[root@dr1 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[root@dr1 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0 ## 注意网卡名称是ens33 还是eth0 要对应
ONBOOT=yes
IPADDR=192.168.200.10
NETMASK=255.255.255.0
3.2.3 DR的配置
[root@dr1 ~]# cd /etc/init.d
[root@dr1 init.d]# vim dr.sh
#!/bin/bash
GW=192.168.200.1
VIP=192.168.200.10
RIP1=192.168.200.200
RIP2=192.168.200.201
case "$1" in
start)
/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.0 broadcast $VIP up
/sbin/route add -host $VIP dev ens33:0
/sbin/ipvsadm -A -t $VIP:80 -s rr
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
echo "ipvsadm starting----------------------[OK]"
;;
stop)
/sbin/ipvsadm -C
systemctl stop ipvsadm
ifconfig ens33:0 down
route del $VIP
echo "ipvsadm stoped-----------[OK]"
;;
status)
if [ ! -e /var/lock/subsys/ipvsadm ];then
echo "ipvsadm stoped--------------"
exit 1
else
echo "ipvsadm Runing -----------[OK]"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
[root@dr1 init.d]# chmod +x dr.sh
[root@dr1 init.d]# systemctl stop firewalld.service
[root@dr1 init.d]# setenforce 0
[root@dr1 ~]# systemctl restart network
[root@dr1 ~]# service dr.sh start
ipvsadm starting----------------------[OK]
3.3 节点服务器的配置
- 两台节点服务器都需要做以下操作
3.3.1 虚拟地址配置与网站站点配置
[root@web1 ~]# systemctl start httpd.service
[root@web1 ~]# systemctl stop firewalld.service
[root@web1 network-scripts]# cp -p ifcfg-ens35 ifcfg-lo:0 ## 注意网卡名称
[root@web1 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0 ## 注意环回口是不是lo
ONBOOT=yes
IPADDR=192.168.200.10
NETMASK=255.255.255.0
[root@web1 network-scripts]# systemctl restart network
[root@web2 ~]# vim /var/www/html/index.html ## web2 可以写点不一样的
<h1>this is web1 </h1>
3.3.2 节点服务器的配置
[root@web1 network-scripts]# cd /etc/init.d/
[root@web1 init.d]# vim web.sh
#!/bin/bash
VIP=192.168.200.10
case "$1" in
start) ##屏蔽针对ARP的相应请求 与选择发送接口的IP地址来这是ARP请求的地址
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p > /dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP /dev/null 2>&1
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stopd"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 1
[root@web1 init.d]# chmod +x web.sh
[root@web1 init.d]# service web.sh start
RealServer Start OK
[root@web1 init.d]# systemctl restart httpd
打开节点服务器浏览器 访问127.0.0.1 测试web服务
3.4 Keepalived部署
上面已经通过yum安装Keepalived服务
- 在两台DR服务器上修改配置文件
[root@dr2 init.d]# cd /etc/keepalived/
[root@dr2 keepalived]# vim keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1 ## 修改为本地
smtp_connect_timeout 30
router_id LVS_02 ## 唯一标识,要唯一
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state BACKUP ## 主服务器要修改为MASTER
interface ens33 ## 主要网卡的名字要对应
virtual_router_id 10 ## 组号 两台DR 必须一样
priority 92 ## 优先级 要低于主服务器
advert_int 1
authentication { ## 密码认证 建议默认不修改
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.200.10 ## 虚拟ip池
}
}
virtual_server 192.168.200.10 80 {
delay_loop 6
lb_algo rr ## 轮询
lb_kind DR ## 模式采用DR
persistence_timeout 50
protocol TCP
real_server 192.168.200.200 80 { ## 服务器WEB1的地址
weight 1 ## 权重 这里设置一样
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.200.201 80 { ## 服务器WEB2的地址
weight 1 ## 权重 这里设置一样
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
3.5 测试
- 客户端
- 测试虚拟地址连通性
- 访问虚拟地址 发现网站轮询
- 关掉主DR 发现 另一台顶替上去 。