LVS（Linux Virtual Server）集群技术详解-EW帮帮网

一.集群和分布式:

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率,

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

二.LVS 介绍

定义：
LVS 是基于 Linux 内核的四层（传输层）负载均衡解决方案，由章文嵩博士开发，用于构建高性能、高可用的服务器集群。

核心组件：

Director（调度器）：接收客户端请求并分发到后端 Real Server。
Real Server（真实服务器）：实际处理请求的后端服务器集群。
VS：Virtual Server： 虚拟服务器
VIP（虚拟 IP）：对外提供服务的虚拟 IP 地址。
RIP（真实 IP）：后端服务器的真实 IP 地址。
CIP：Client IP

VS：负责调度
RS：负责真正的服务
访问流程：CIP VIP == DIP RIP

官网：The Linux Virtual Server Project - Linux Server Cluster for Load Balancinghttp://www.linuxvirtualserver.org/ lvs集群体系结构

LVS的三种工作模式

NAT

Ivs-nat:

本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈支持端口映射，可修改请求报文的目标PORT

VS必须是Linux系统，RS可以是任意OS系统

NAT模式的工作流程

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口（9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）

5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

图解

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发

因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

DR

TUN

**LVS三种工作模式对比**
模式	原理	优点	缺点
NAT	修改数据包的IP/端口	支持端口映射，配置简单	Director 易成瓶颈
DR（Direct Routing）	仅修改 MAC 地址，不修改 IP	性能极高（90% 吞吐量）	要求 Real Server 与 Director 同局域网
TUN（IP 隧道）	通过 IP 隧道封装数据包	可跨机房部署	配置复杂，隧道开销高

关键区别：

NAT/FullNAT：请求和响应均经过Director。
DR/TUN：仅请求报文经过Director，响应报文由RS直接返回客户端。

vs-dr：通过封装新的MAC首部实现，通过MAC网络转发

lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

lvs-nat与lvs-fullnat：请求和响应报文都经由Director

lvs-nat：RIP的网关要指向DIP

LVS调度算法

LVS支持多种调度算法，分为静态和动态两类：

1. 静态算法（不考虑RS负载）

RR（轮询）：均分请求到各RS。 ——适用场景：Real Server 性能均等
WRR（加权轮询）：根据RS性能分配权重。 ——适用场景：Real Server 配置不均
SH（源地址哈希）：同一客户端固定访问同一RS（会话保持）。 ——适用场景：需要会话保持的应用

2. 动态算法（基于RS负载状态）

LC（最少连接）：优先选择连接数最少的RS。 ——适用场景：长连接服务（如数据库）
WLC（加权最少连接）：默认算法，结合权重和连接数。 ——适用场景：Real Server 性能均等，但需动态平衡 “连接数”，避免节点过载。
SED/NQ：优化高权重节点的初始连接分配。 ——适用场景：Real Server 性能均等，但需 “优先让高权重节点承接初始连接”（哪怕连接数稍多），或需 “初始流量倾斜”。

lvs命令介绍

lvs软件相关信息

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

ipvsadm命令

管理集群服务

ipvsadm -A|E -t（tcp）|u（udp）|f（防护墙标签） \

service-address(集群地址) \

[-s scheduler(调度算法)] \

[-p [timeout]] \

[-M netmask] \

[--pepersistence_engine] \

[-b sched-flags]

ipvsadm -D -t|u|f service-address 删除

ipvsadm –C 清空

ipvsadm –R 重载

ipvsadm -S [-n] 保存

管理集群中的real server

ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w weight](权重)

ipvsadm -d -t|u|f service-address -r server-address 删除RS

ipvsadm -L|l [options] 查看rs

ipvsadm -Z [-t|u|f service-address] 清楚计数器

lvs集群中的增删改

1.管理集群服务中的增删改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f #firewall mask 火墙标记，是一个数字

形式

#增加

[root@DR-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr

[root@DR-server ~]# ipvsadm -A -f 66 -p 3000

#修改

[root@DR-server ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000

#删除

[root@DR-server ~]# ipvsadm -D -t 172.25.254.100:80[root@DR-server ~]# ipvsadm -D -f 66

2.管理集群中RealServer的曾增删改

-a #添加realserver

-e #更改realserver-t #tcp协议

-u #udp协议

-f #火墙标签

-r #realserver地址

-g #直连路由模式

-i #ipip隧道模式

-m #nat模式

-w #设定权重

-Z #清空计数器

-C #清空lvs策略

-L #查看lvs策略

-n #不做解析

--rate #输出速率信息

形式

ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]

#添加

[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m

[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2

#更改

[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1

[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1

#删除

[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30

[root@DR-server ~]# ipvsadm -Ln

[root@DR-server ~]# ipvsadm -Ln --rate

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS

-> RemoteAddress:Port

TCP 172.25.254.100:80   0 0 0 0 0

-> 192.168.0.30:80 0   0 0 0   0

-> 192.168.0.40:80 0    0 0    0 0

[root@DR-server ~]# ipvsadm -C ——清空所有策略

[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80

[root@DR-server ~]# ipvsadm -Ln --rate

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS

-> RemoteAddress:Port

TCP 172.25.254.20:80 0 0 0 0 0

-> 192.168.0.30:80 0 0 0 0 0

-> 192.168.0.40:80 0 0 0     0 0

NAT模式集群实验：

实验环境

主机名	IP	VIP	角色
lvs	192.168.0.100	172.25.254.100	调度器（VS）
RS1	192.168.0.10，GW192.168.0.100	null	真实服务器（RS）
RS2	192.168.0.20，GW192.168.0.100	null	真实服务器（RS）
client	172.25.254.111		测试机

注：

此实验要关闭火墙然后网页里要写内容

systemctl disable --now firewalld.service

echo 20 > /var/www/html/index.html

实验开始：

1.在lvs中启用内核路由功能

]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf

]# sysctl --system

2.在node1中安装ipvsadm

]# yum install ipvsadm -y

3.在node1中添加调度策略

# ipvsadm -A -t 172.25.254.100:80 -s rr
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

4.查看策略

ipvsadm -Ln

5.保存策略

ipvsadm -Sn

6.删除所有策略

ipvsadm -C

7.重新加载策略

]# ipvsadm -R < /etc/sysconfig/ipvsadm-config
]# ipvsadm -Ln

8.以上操作均为临时，如果想开机启动，就得设置

]# systemctl enable --now ipvsadm.service

9.测试：

for N in {1..6};do curl 172.25.254.100;done

LVS（Linux Virtual Server）集群技术详解