LVS集群

LVS集群

一.LVS简介

LVS 全称为 Linux Virtual Server ，它是一个负载均衡／高可用性集群，主要针对大业务量的网络应用（如新闻服务、网上银行 电子商务等）。 LVS 建立在一个主控服务器（通常为双机）及若干真实服务器（ realserver ）所组成的集群之上 。real-server 负责实际提供服务，主控服务器根据指定的调度算法对real-server 进行控制。而集群的结构对于用户来说是透明的，客户端只与单个的 IP （集群系统的虚拟IP）进行通信，也就是说，从客户端的视角来看，这里只存在单个服务器。Real-server 可以提供众多服务，ftp、http、dns、telnet、smtp ，以及现在比较流行将其用于 MySQL 集群 。主控服务器负责对 Real-Server 进行控制。客户端在向 LVS 发出服务请求时， Director 会通过特定的调度算法指定由某个 Real-Server 来应答请求，而客户端只与Load Balancer的IP （即虚拟的 VIP ）进行通信。

二、LVS集群的体系结构

访问流程：CIP <–> VIP == DIP <–> RIP

三、LVS集群的类型

vs-nat： 修改请求报文的目标IP,多目标IP的DNAT

lvs-dr： 操纵封装新的MAC地址

lvs-tun： 在原请求IP报文之外新加一个IP首部

lvs-fullnat： 修改请求报文的源和目标IP

（1）.nat模式

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口
（9000port）
2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口
（9000port）
4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1–>VIP）,响应目标端口（9000–>80）
5.VS服务器把修改过报文的响应数据包回传给客户端
6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

（2）.dr模式

DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC
2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC，此时帧中的数据为客户端IP+客户端的MAC+VIP+RS1的MAC
3.RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的MAC

（3）.tun模式

1.客户端发送请求数据包，包内有源IP+vip+dport

2.到达vs调度器后对客户端发送过来的数据包重新封装添加IP报文头，新添加的IP报文头中包含

TUNSRCIP(DIP)+TUNDESTIP(RSIP1)并发送到RS1

3.RS收到VS调度器发送过来的数据包做出响应，生成的响应报文中包含SRCIP(VIP)+DSTIP（CIP）

+port，响应数据包通过网络直接回传给client

（4）.fullnet模式（此类型kernel默认不支持）

fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP

VIP --> RIP

1.VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP

2.RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client

3.请求和响应报文都经由Director

4.支持端口映射

（5）.几种工作模式总结

四、调度算法

LVS的调度算法决定了如何将客户端请求分配到后端真实服务器（Real Server）

1. 静态算法：不考虑后端服务器实时负载，仅按预设规则（轮询、权重、哈希）分配，适合负载稳定、需求简单的场景。
   • 需会话保持选 源地址哈希；需缓存优化选 目标地址哈希；性能均匀选 轮询；性能有差异选 加权轮询。
2. 动态算法：根据后端服务器实时连接数（结合权重）分配，适合负载动态变化、服务器性能有差异的场景。
   • 常规动态场景首选 加权最少连接（WLC）；需优化初始分配选 SED；弹性伸缩场景选 NQ。
3. 选择原则：
   • 优先根据 “是否需要会话保持”“服务器性能是否均匀”“负载是否动态变化” 三大因素判断；
   • 无特殊需求时，加权轮询（静态） 和 加权最少连接（动态） 是最常用的选择。

五、LVS实战案例

（1）部署NAT模式集群

实验环境准备

1.首先在rs1和rs2上部署web服务器，如下：

#安装http服务
[root@rs1 ~]# yum install httpd -y

#关闭防火墙，并设置httpd服务开机自启
[root@rs1 ~]# systemctl disable --now firewalld.service
[root@rs1 ~]# systemctl enable --now httpd

#在默认配置文件内添加测试内容,重启服务生效后进行本地测试
[root@rs1 ~]# echo "hello `hostname -I`" > /var/www/html/index.html
[root@rs1 ~]# systemctl restart httpd
[root@rs1 ~]# curl localhost

2.将RS网关设置为规划的内网地址192.168.0.150

[root@RS1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[root@RS1 ~]# nmcli connection reload
[root@RS1 ~]# nmcli connection up eth0
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/4)
[root@RS1 ~]# route -n

3.在LVS上开启内核路由转发

[root@LVS ~]# vim /etc/sysctl.conf
[root@LVS ~]# sysctl -p
net.ipv4.ip_forward = 1

4.在LVS上进行ipvsadm的安装和配置

[root@LVS ~]# ipvsadm -A -t 192.168.1.150:80 -s rr
[root@LVS ~]# ipvsadm -a -t 192.168.1.150:80 -r 192.168.0.10:80 -m
[root@LVS ~]# ipvsadm -a -t 192.168.1.150:80 -r 192.168.0.20:80 -m
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.150:80 rr
  -> 192.168.0.10:80              Masq    1      0          0
  -> 192.168.0.20:80              Masq    1      0          0

5.测试

（2）部署DR模式集群

实验环境准备

同时在lvs及rs1和rs2上规划VIP：192.168.0.220

1.首先在rs1和rs2上部署web服务器，如下：

#安装http服务
[root@rs1 ~]# yum install httpd -y

#关闭防火墙，并设置httpd服务开机自启
[root@rs1 ~]# systemctl disable --now firewalld.service
[root@rs1 ~]# systemctl enable --now httpd

#在默认配置文件内添加测试内容,重启服务生效后进行本地测试
[root@rs1 ~]# echo "hello `hostname -I`" > /var/www/html/index.html
[root@rs1 ~]# systemctl restart httpd
[root@rs1 ~]# curl localhost

#在rs上做arp抑制
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

自此，对rs1和rs2配置完成

2.对lvs调度器进行配置

#关闭防火墙
[root@lvs ~]# systemctl disable --now firewalld.service

#安装ipvsadm，并配置
[root@lvs ~]# yum install ipvsadm.x86_64 -y
[root@lvs ~]# ipvsadm -A -t 192.168.0.220:80 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.220:80 -r 192.168.0.10:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.220:80 -r 192.168.0.20:80 -g
[root@lvs ~]# ipvsadm -Ln

3.在client上进行测试

[root@client ~]# for i in {1..10} ; do curl 192.168.0.220 ; done

六、使用脚本进行LVS的自动化部署

#在LVS调度器上运行此脚本进行LVS的自动化部署

#!/bin/bash

# LVS部署脚本 - 支持DR和NAT模式
# VIP=192.168.95.10
# RIP1=192.168.95.11
# RIP2=192.168.95.12

# 颜色定义
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[0;33m'
NC='\033[0m' # No Color

# 配置参数
NAT_DEV=eth1
HOST_DEV=eth0
NAT_VIP=172.25.254.100
NAT_DIP=192.168.0.200
DR_VIP=192.168.0.220
DR_DIP=192.168.0.200
RS1_IP=192.168.0.10
RS2_IP=192.168.0.20

# 检查是否为root用户
check_root() {
    if [ "$(id -u)" -ne 0 ]; then
        echo -e "${RED}错误：此脚本需要root权限运行${NC}"
        exit 1
    fi
}

# 安装ipvsadm
install_ipvsadm() {
    echo -e "${YELLOW}正在检查ipvsadm...${NC}"
    if ! rpm -qa ipvsadm &> /dev/null; then
        echo -e "${YELLOW}安装ipvsadm...${NC}"
        dnf install -y ipvsadm
        if [ $? -ne 0 ]; then
            echo -e "${RED}安装ipvsadm失败${NC}"
            exit 1
        fi
    fi
    echo -e "${GREEN}ipvsadm已安装${NC}"
}

# 检查SSH连接
check_ssh() {
    echo -e "${YELLOW}检查RS节点SSH连接...${NC}"
    for ip in $RS1_IP $RS2_IP; do
        if ! ssh -o BatchMode=yes -o ConnectTimeout=2 "root@$ip" 'exit' &> /dev/null; then
            echo -e "${RED}错误：无法通过SSH连接到$ip${NC}"
            exit 2
        fi
    done
    echo -e "${GREEN}SSH连接检查通过${NC}"
}

# 配置LVS DR模式
configure_dr() {
    case $1 in
        start)
            echo -e "${YELLOW}启动LVS DR模式...${NC}"
            
            # 配置本地VIP
            cat > /etc/NetworkManager/system-connections/lo.nmconnection <<EOF
[connection]
id=lo
type=loopback
interface-name=lo

[ipv4]
method=manual
address1=127.0.0.1/8
address2=$DR_VIP/32
EOF
            chmod 600 /etc/NetworkManager/system-connections/lo.nmconnection
            ip a add $DR_VIP/32 dev lo &> /dev/null
            
            # 配置ARP参数
            cat >/tmp/sysctl.conf <<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
            sysctl -p /tmp/sysctl.conf &> /dev/null
            
            # 配置IPVS规则
            ipvsadm -C 
            ipvsadm -A -t $DR_VIP:80 -s rr
            ipvsadm -a -t $DR_VIP:80 -r $RS1_IP:80 -g 
            ipvsadm -a -t $DR_VIP:80 -r $RS2_IP:80 -g 
            
            # 配置RS节点
            for IP in $RS1_IP $RS2_IP
            do
                scp /etc/NetworkManager/system-connections/lo.nmconnection root@$IP:/etc/NetworkManager/system-connections/ &> /dev/null
                ssh -l root $IP "ip addr add $DR_VIP/32 dev lo" &> /dev/null 
                scp /tmp/sysctl.conf root@$IP:/etc/sysctl.d/lvs.conf &> /dev/null
                ssh -l root $IP 'sysctl -p /etc/sysctl.d/lvs.conf' &> /dev/null 
            done
            
            echo -e "${GREEN}LVS DR模式已启动${NC}"
            ;;
            
        stop)
            echo -e "${YELLOW}停止LVS DR模式...${NC}"
            
            # 移除本地VIP和规则
            rm -f /etc/NetworkManager/system-connections/lo.nmconnection
            ip addr del $DR_VIP/32 dev lo &> /dev/null
            ipvsadm -C
            
            # 清理RS节点配置
            for IP in $RS1_IP $RS2_IP
            do
                cat > /tmp/sysctl.conf-stop <<EOF
net.ipv4.conf.all.arp_ignore = 0
net.ipv4.conf.all.arp_announce = 0
net.ipv4.conf.lo.arp_ignore = 0
net.ipv4.conf.lo.arp_announce = 0
EOF
                scp /tmp/sysctl.conf-stop root@$IP:/etc/sysctl.d/lvs.conf &> /dev/null
                ssh -l root $IP "ip addr del $DR_VIP/32 dev lo; rm -f /etc/NetworkManager/system-connections/lo.nmconnection; sysctl -p /etc/sysctl.d/lvs.conf" &> /dev/null
            done
            
            echo -e "${GREEN}LVS DR模式已停止${NC}"
            ;;
            
        *)
            echo -e "${RED}未知操作: $1${NC}"
            exit 1
            ;;
    esac
}

# 配置LVS NAT模式
configure_nat() {
    case $1 in
        start)
            echo -e "${YELLOW}启动LVS NAT模式...${NC}"
            
            # 配置本地VIP
            ip addr add $NAT_VIP/32 dev $NAT_DEV &> /dev/null
            
            # 启用IP转发
            echo 1 > /proc/sys/net/ipv4/ip_forward
            sysctl -w net.ipv4.ip_forward=1 &> /dev/null
            
            # 配置SNAT规则
            iptables -t nat -F
            iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -o $HOST_DEV -j MASQUERADE
            
            # 配置IPVS规则
            ipvsadm -C
            ipvsadm -A -t $NAT_VIP:80 -s rr
            ipvsadm -a -t $NAT_VIP:80 -r $RS1_IP:80 -m 
            ipvsadm -a -t $NAT_VIP:80 -r $RS2_IP:80 -m
            
            # 配置RS节点网关
            for IP in $RS1_IP $RS2_IP
            do
                ssh -l root $IP "ip route add default via $NAT_DIP" &> /dev/null
                # 确保RS节点已启动HTTP服务
                ssh -l root $IP "systemctl is-active --quiet httpd || systemctl start httpd" &> /dev/null
            done
            
            echo -e "${GREEN}LVS NAT模式已启动${NC}"
            ;;
            
        stop)
            echo -e "${YELLOW}停止LVS NAT模式...${NC}"
            
            # 移除本地VIP和规则
            ip addr del $NAT_VIP/32 dev $NAT_DEV &> /dev/null
            ipvsadm -C
            
            # 禁用IP转发
            echo 0 > /proc/sys/net/ipv4/ip_forward
            sysctl -w net.ipv4.ip_forward=0 &> /dev/null
            
            # 清除SNAT规则
            iptables -t nat -F
            
            # 清理RS节点网关
            for IP in $RS1_IP $RS2_IP
            do
                ssh -l root $IP "ip route del default via $NAT_DIP" &> /dev/null
            done
            
            echo -e "${GREEN}LVS NAT模式已停止${NC}"
            ;;
            
        *)
            echo -e "${RED}未知操作: $1${NC}"
            exit 1
            ;;
    esac
}

# 主函数
main() {
    check_root
    install_ipvsadm
    check_ssh
    
    case $1 in
        start)
            case $2 in 
                dr|DR|Dr)
                    configure_dr start
                    ;;
                nat|NAT|Nat)
                    configure_nat start
                    ;;
                *)
                    echo -e "${RED}Usage: \n\t$0 <start | stop>  < nat | dr >${NC}"
                    exit 1
                    ;;
            esac
            ;;
        stop)
            case $2 in 
                dr|DR|Dr)
                    configure_dr stop
                    ;;
                nat|NAT|Nat)
                    configure_nat stop
                    ;;
                *)
                    echo -e "${RED}Usage: \n\t$0 <start | stop>  < nat | dr >${NC}"
                    exit 1
                    ;;
            esac
            ;;
        *)
            echo -e "${RED}Usage: \n\t$0 <start | stop>  < nat | dr >${NC}"
            exit 1
            ;;
    esac
}

main