LVS四种模式及部署NAT、DR模式集群-EW帮帮网

1、lvs简介

LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里四层SLB(ServerLoadBalance)是基于LVS+keepalived实现

LVS 官网: http://www.linuxvirtualserver.org/

LVS 相关术语
VS: Virtual Server，负责调度
RS:RealServer，负责真正提供服务

2、lvs集群体系结构

工作原理：
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

3、LVS概念

        VS：Virtual Server---------------------（调度器）
        RS：Real Server -----------------------（真实资源主机）
        CIP：Client IP----------------------------（用户的IP）
        VIP: Virtual serve IP VS外网的IP ---（客户访问的IP）
        DIP: Director IP VS内网的IP-----------（调度器与主机的IP）
        RIP: Real server IP ------------------------（真实资源主机的IP）
访问流程：CIP <--> VIP == DIP <--> RIP

4、lvs的调度算法

lvs调度算法类型

        ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法
        静态方法：仅根据算法本身进行调度，不考虑RS的负载情况
        动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

lvs静态调度算法

        1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐
        2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少
        3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
        4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

lvs动态调度算法

        主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度
1、LC：least connections（最少链接发）
         适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数）
2、WLC：Weighted LC（权重最少链接）
        默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight
3、SED：Shortest Expection Delay,
        初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight
但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接
4、NQ：Never Queue，第一轮均匀分配，后续SED
5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

在4.15版本内核以后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布
在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度。
当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。

2.OVF(Overflow-connection)调度算法

        基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:
        未过载(未设置IP_VS_DEST_F OVERLOAD标志)
        真实服务器当前的活动连接数量小于其权重值
        其权重值不为零

5、 lvs集群的类型

vs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

nat模式

Ivs-nat:

         本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
        RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP
        请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
        支持端口映射，可修改请求报文的目标PORT
        VS必须是Linux系统，RS可以是任意OS系统

nat模式数据逻辑

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口
（9000port）
2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）
4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）
5.VS服务器把修改过报文的响应数据包回传给客户端
6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

部署NAT模式集群

1.Director 服务器采用双网卡，一个是桥接网卡连接外网，一个是仅主机网卡与后端Web服务器相连
2.Web服务器采用仅主机网卡与director相连
3.Web服务器网关指向192.168.0.100
4.后端web服务器不需要连接外网

实验环境

主机名	IP	VIP	角色
LVS	192.168.0.100 仅主机	172.25.254.100	调度器（VS）
RS1	192.168.0.101 仅主机，GW 192.168.0.100	null	真实服务器（RS）
RS2	192.168.0.102 仅主机，GW 192.168.0.100	null	真实服务器（RS）
client	172.25.254.111 nat		测试机

配置4台主机的环境命令

LVS：

添加一台主机（仅主机模式）

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.100 LVS.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）
[root@aa ~]# vmset.sh eth1 192.168.0.100 LVS.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5）

查看IP

关闭防火墙

[root@LVS ~]# systemctl stop firewalld

client：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.111 client.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

查看IP

关闭防火墙

[root@client ~]# systemctl stop firewalld

RS1：

设置成仅主机模式

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.101 RS1.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

查看IP

设置网关(网关的IP是LVS主机的仅主机的IP)

[root@RS1 ~]# vim /etc/NetworkManager/system-connections/

[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
method=manual
address1=192.168.0.101/24,192.168.0.100
dns=8.8.8.8

[root@RS1 ~]# nmcli connection reload 
[root@RS1 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/4）
[root@RS1 ~]#

关闭防火墙打开Httpd

[root@RS1 ~]# systemctl stop firewalld
[root@RS1 ~]# systemctl start httpd

在/var/www/html/index.html写入内容

[root@RS1 ~]# echo "RS1 server - 192.168.0.101" > /var/www/html/index.html

RS2：

设置成仅主机模式、

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.102 RS2.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

查看IP

设置网关(网关的IP是LVS主机的仅主机的IP)

[root@RS2 ~]# vim /etc/NetworkManager/system-connections/


[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
method=manual
address1=192.168.0.102/24,192.168.0.100
dns=8.8.8.8


[root@RS2 ~]# nmcli connection reload 
[root@RS2 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/4）
[root@RS2 ~]#

关闭防火墙打开Httpd

[root@RS2 ~]# systemctl stop firewalld
[root@RS2 ~]# systemctl start httpd

在/var/www/html/index.html写入内容

[root@RS2 ~]# echo "RS2 server - 192.168.0.102" > /var/www/html/index.html

环境配置完毕！！

在LVS中启用内核路由功能

[root@LVS ~]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf
[root@LVS ~]# sysctl --system
net.ipv4.ip_forward = 1

在LVS中安装ipvsadm

[root@LVS ~]# yum install ipvsadm -y

在LVS中添加调度策略

[root@LVS ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@LVS ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.101:80 -m
[root@LVS ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.102:80 -m

查看策略

[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr
  -> 192.168.0.101:80             Masq    1      0          0         
  -> 192.168.0.102:80             Masq    1      0          0

保存规则

[root@LVS ~]# ipvsadm -Sn
-A -t 172.25.254.100:80 -s rr
-a -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 1
-a -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1
[root@LVS ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm-config 
[root@LVS ~]# cat /etc/sysconfig/ipvsadm-config 
-A -t 172.25.254.100:80 -s rr
-a -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 1
-a -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1

删除所有规则

[root@LVS ~]# ipvsadm -C
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

重新加载规则

[root@LVS ~]# ipvsadm -R < /etc/sysconfig/ipvsadm-config 
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr
  -> 192.168.0.101:80             Masq    1      0          0         
  -> 192.168.0.102:80             Masq    1      0          0

以上操作均为临时，如果想开机启动

[root@LVS ~]# systemctl enable --now ipvsadm.service

在client主机测试

[root@client ~]# for N in {1..6};do curl 172.25.254.100;done
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
[root@client ~]#

修改为权重调用算法

[root@LVS ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr
[root@LVS ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 2
[root@LVS ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1

#测试效果
[root@client ~]# for N in {1..6};do curl 172.25.254.100;done
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS1 server - 192.168.0.101

部署NAT模式集群完成!!!

部署DR模式集群

实验环境

主机名	IP	VIP	角色
client	172.25.254.10 nat GW 172.25.254.100	null	测试主机
router	172.25.254.100 nat 192.168.0.10 仅主机	null	路由器
LVS	192.168.0.200，仅主机 GW 192.168.0.10	lo：192.168.0.100 仅主机	调度器
RS1	192.168.0.101，仅主机 GW 192.168.0.10	lo：192.168.0.100 仅主机	web服务器1
RS2	192.168.0.102, 仅主机 GW 192.168.0.10	lo：192.168.0.100 仅主机	web服务器2

配置5台主机的环境命令（已关闭防火墙，RS1与RS2已开启HTTPD）

client：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.10 client.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

设置网关

[root@client ~]# vim /etc/NetworkManager/system-connections/


[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
method=manual
address1=172.25.254.10/24,172.25.254.100
dns=8.8.8.8

[root@client ~]# nmcli connection reload 
[root@client ~]# nmcli connection up eth0

查看IP

router：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.100 router.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

[root@aa ~]# vmset.sh eth1 192.168.0.10 router.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

查看IP

LVS：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.200 LVS.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

设置网关

[root@LVS ~]# vim /etc/NetworkManager/system-connections/


[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
method=manual
address1=192.168.0.200/24,192.168.0.10
dns=8.8.8.8
~            
[root@LVS ~]# nmcli connection reload 
[root@LVS ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7）

查看IP

RS1:

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.101 RS1.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/8）

设置网关


[root@RS1 ~]# vim /etc/NetworkManager/system-connections/


[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
method=manual
address1=192.168.0.101/24,192.168.0.10
dns=8.8.8.8
~      
[root@RS1 ~]# nmcli connection reload 
[root@RS1 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9）

查看IP

RS2:

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.102 RS2.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

设置网关

[root@RS2 ~]# vim /etc/NetworkManager/system-connections/

[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
method=manual
address1=192.168.0.102/24,192.168.0.10
dns=8.8.8.8

[root@RS2 ~]# nmcli connection reload 
[root@RS2 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

查看IP

环境配置完成！！

确保每台主机ping都可以互相通信

例如：

在LVS和 RS1与RS2中设定vip

[root@LVS ~]# ip addr add dev lo 192.168.0.100/32
[root@RS1 ~]# ip addr add dev lo 192.168.0.100/32
[root@RS2 ~]# ip addr add dev lo 192.168.0.100/32

查看IP

在RS1和RS2中解决响应问题

vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2

在lvs中配置策略

[root@LVS ~]# ipvsadm -A -t 192.168.0.100:80 -s wrr
[root@LVS ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.101:80 -g
[root@LVS ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.102:80 -g
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.100:80 wrr
  -> 192.168.0.101:80             Route   1      0          0         
  -> 192.168.0.102:80             Route   1      0          0

测试效果：

部署DR模式集群完成！！

防火墙标签解决轮询错误

.轮询规则中可能会遇到的错误
以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出
现了一个轮询错乱的问题
当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上
问题呈现

防火墙标记解决轮询调度问题

FWM:FireWall Mark
MARK target 可用于给特定的报文打标记,
--set-mark value

其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服
务:可将多个不同的应用使用同一个集群服务进行调度
实现方法:
在Director主机打标记:

在Director主机基于标记定义集群服务

lvs持久链接

在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单粗暴，可能会导致调度失衡

解决方案
        在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把这个源的主机调度到了那个RS上
        如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到同一台RS上。
        如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上

LVS的隧道-TUN 模式

工作原理：

IP隧道封装：调度器（Director）在收到客户端请求后，在原始IP数据包外再封装一层IP头（源IP为DIP，目标IP为RIP），形成隧道传输。
RS处理：真实服务器（RS）解封装后，发现内层目标IP是VIP（配置在本地），直接响应客户端（不经过Director。
跨网络支持：调度器和RS可不在同一局域网，适用于跨机房或云环境。

特点：

RS需支持IP隧道（如加载ipip模块。
响应数据直接返回客户端，减轻Director负载。
不支持端口映射，RS需配置VIP。

LVS的Full-NAT 模式

工作原理：

双向地址转换：
- 入站：源IP（CIP→LVS内网IP），目标IP（VIP→RIP。
- 出站：源IP（RIP→VIP），目标IP（LVS内网IP→CIP。
跨VLAN通信：通过内网IP中转，解决NAT模式必须同VLAN的限制。

特点：

RS无需设置网关为Director，部署灵活。
支持大规模水平扩展（多Director对多RS。
缺点：RS无法直接获取客户端IP（需TOA模块提取TCP Option中的真实IP。

适用场景：

跨VLAN或复杂网络环境。
需高可用且运维简化的场景（如阿里云SLB。

两种模式对比：

TUN：高性能、跨网络，但需RS支持隧道。
Full-NAT：部署灵活，但需额外处理客户端IP问题。

LVS四种模式及部署NAT、DR模式集群

1、lvs简介

2、lvs集群体系结构

3、LVS概念

4、lvs的调度算法

lvs调度算法类型

lvs静态调度算法

lvs动态调度算法

在4.15版本内核以后新增调度算法

5、 lvs集群的类型

nat模式

Ivs-nat:

nat模式数据逻辑

部署NAT模式集群

实验环境

配置4台主机的环境命令

LVS：

client：

RS1：

RS2：

环境配置完毕！！

在LVS中启用内核路由功能

在LVS中安装ipvsadm

在LVS中添加调度策略

查看策略

保存规则

删除所有规则

重新加载规则

以上操作均为临时，如果想开机启动

在client主机测试

修改为权重调用算法

部署NAT模式集群完成!!!

部署DR模式集群

实验环境

配置5台主机的环境命令（已关闭防火墙，RS1与RS2已开启HTTPD）

client：

router：

LVS：

RS1:

RS2:

环境配置完成！！

确保每台主机ping都可以互相通信

在LVS和 RS1与RS2中设定vip

在RS1和RS2中解决响应问题

在lvs中配置策略

测试效果：

部署DR模式集群完成！！

防火墙标签解决轮询错误

防火墙标记解决轮询调度问题

lvs持久链接

LVS的隧道-TUN 模式

LVS的Full-NAT 模式

网站公告

今日签到

热门文章

最新发布