LVS+Keepalived高可用群集

目录

一：Keepalived 双机热备基础知识

1.Keepalived 概述及安装

（1）Keepalived 的热备方式

(1)安装Keepalived

(2)控制 Keepalived 服务

2.使用 Keepalived 实现双机热备

1.主服务器的配置

2.备用服务器的配置

3.测试双机热备功能

(1)连通性测试

(2)Web 访问测试

(3)查看日志记录

二：使用Keepalived 实现双机热备

1.基础环境配置

2.配置主调度器

(1)全局配置、热备配置

(2)web 服务器池配置

（3）重新启动 Keepalived 服务

3.配置从调度器

4.配置Web节点服务器

5.测试LVS+Keepalived 高可用群集

一：Keepalived 双机热备基础知识

           Keepalived 起初是专门针对 LVS 设计的一款强大的辅助工具，主要用来提供故障切换(Failover)和健康检査(Health Checking)功能--判断 LVS 负载调度器、节点服务器的可用性，当master 主机出现故障及时切换到 backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。

1.Keepalived 概述及安装

          Keepalived 的官方网站位于 http://www.keepalived.org/，本章将以 YUM方式讲解 Keepalived 的安装、配置和使用过程。在非 LVS 群集环境中使用时，Keepalived 也可以作为热备软件使用。

（1）Keepalived 的热备方式

             通过共用的虚拟IP地址对外提供服务:每个热备组内同一时刻只有一台主路由器提供服务，其他路由器处于冗余状态。若当前在线的路由器失效，则其他路由器会自动接替(优先级决定接替顺序)虚拟IP地址，以继续提供服务，如图所示。
         热备组内的每台路由器都可能成为主路由器，虚拟路由器的IP地址(VIP)可以在热备组内的路由器之间进行转移，所以也称为漂移IP地址。使用Keepalived 时,漂移地址的实现不需要手动建立虚接口配置文件(如 ens33 :0),而是由 Keepalived 根据配置文件自动管理。

资源列表：

1.2Keepalived 的安装与服务控制

(1)安装Keepalived

      在0penEuler24系统中，使用DF方式安装keepalived.x86642.2.8-1.oe2403sp1,会自动安装 Keepalived 所需的软件包。除此之外,在 LVS群集环境中应用时，也需要用到 ipvsadm 管理工具。

(2)控制 Keepalived 服务

DNF 安装 keepalived 后，执行以下命令将 keepalived 服务设置为开机启动。

2.使用 Keepalived 实现双机热备

        基于 VRRP 的热备方式，Keepalived 可以用作服务器的故障切换，每个热备组可以有 多台服务器--当然，最常用的就是双机热备了。在这种双机热备方案中，故障切换主要针对虚拟IP地址的漂移来实现，因此能够适用于各种应用服务器(不管是 Web、FTP、Mail，还是 SSH、DNS·)

    本小节将通过一个简单的案例来说明 Keepalived 双机热备的配置方法。其中，主、备服务器的IP地址分别为 192.168.10.101和 192.168.10.102，基于漂移地址 192.168.10.100 提供 Web 服务，如图 所示。

    主、备服务器中都需要安装 Keepalived，使用 YUM 方式安装 httpd 提供Web 服务。下面仅讲解与 Keepalived 相关的配置及测试过程。

1.主服务器的配置

      Keepalived 服务的配置目录位于/etc/keepalived/。其中，keepalived.conf 是主配置文件。另外包括一个子目录 samples/，提供了许多配置样例作为参考。
       在 Keepalived 的配置文件中，使用“global defs {…}”区段指定全局参数，使用“vrrp_instance 实例名称{…”区段指定 VRRP 热备参数，注释文字以“!”符号开头。

         确认上述配置无误，然后启动Keepalived 服务。实际状态为 MASTER 的主服务器将为 ens160接口自动添加 VIP 地址，通过 ip 命令可以查看。注意:ifconfig 命令看不到。

2.备用服务器的配置

      在同一个 Keepalived 热备组内，所有服务器的 Keepalived 配置文件基本相同，包括虚拟路由器的 ID 号、认证信息、漂移地址、心跳频率等。不同之处主要在于路由器名称、热备状态、优先级。

       配置备用服务器(可以有多台)时，可以参考主服务器的keepalived.conf配置文件内容，只需修改路由器名称、热备状态、优先级。

       确认配置无误，一样需要启动Keepalived 服务。此时主服务器仍然在线，VIP 地址实际上仍然由主服务器控制，其他服务器处于备用状态。因此，在备用服务器中将不会为 ens160接口添加 VIP 地址。

3.测试双机热备功能

       Keepalived 的日志消息保存在/var/log/messages 文件中，在测试主、备故障自动切换功能时，可以跟踪此日志文件来观察热备状态的变化。以针对连通性和Web 服务的测试为例，主要操作如下。

(1)连通性测试

在客户机中执行“ping -t 192.168.10.100”命令，能够正常、持续 ping 通，根据以下操作继续观察测试结果。
① 停止启用主服务器的 Keepalived 服务，发现 ping 测试只中断了 1或 2个包即恢复正常，说明己有其他服务器接替VIP 地址，并及时响应客户机请求。

②重新启用主服务器的 Keepalived 服务，发现 ping 测试再次中断1或 2个包即恢复正常，说明主服务器已恢复正常，并夺回VIP 地址的控制权。

(2)Web 访问测试

在 keepalived 运行的主机上启动 nginx 服务并写入不通的测试页面内容

Keepalived01

[root@localhost~]# systemctl start nginx
[root@localhost ~]# echo “web0l”>/usr/share/nginx/html/index.html

Keepalived02

[root@localhost~]# systemctl start nginx
[root@localhost ~]# echo “web02”>/usr/share/nginx/html/index.html

在客户机中访问 http://192.168.10.100/,将看到由主服务器 192.168.10.101提供的网页文档。

① 停止启用主服务器的 Keepalived 服务，再次访问上述 Web 服务，将看到由备用服务
器 192.168.10.102 提供的网页文档，说明 VIP 地址已切换至备用服务器。

②重新启用主服务器的 Keepalived 服务，再次访问上述 Web 服务，将看到重新由主服
务器 192.168.10.101 提供的网页文档，说明主服务器已重新夺取 VIP 地址。

(3)查看日志记录

   在执行主、备服务器故障切换的过程中，分别观察各自的/var/log/messages日志文件，可以看到 MASTER、SLAVE 状态的迁移记录。

① 主服务器中，Keepalived 服务状态先变为“stop”，移除 VIP 地址，恢复后重新变为 MASTER

[root@localhost ~]# less /var/log/messages
…… //省略部分信息
Sep 11 13:32:24 localhost Keepalived[18259]: Stopping Keepalived vl.2.13(11/05,201
6)
Sep 11 13:32:24 localhost systemd: Stopping LVS and VRRP High AvailabilityMonito
K...
Sep 11 13:32:24 localhost Keepalived_vrrp[18261]: VRRP Instance(Vl 1)sending 0 prio
rity
Sep 11 13:32:24 localhost Keepalived_vrrp[18261]: VRRP Instance(Vl 1)removing proto
col VIPs.
…… //省略部分信息
Sep 11 13:36:42 localhost Keepalived_vrrp[18280]: VRRP Instance(VI 1)Transition to
MASTER STATE
Sep 11 13:36:42 localhost Keepalived_vrrp[18280]: VRRP Instance(VI 1)Received lower
prio advert, forcing new election
Sep 11 13:36:43 localhost Keepalived vrrp[18280]: VRRP Instance(VI 1)
Entering MASTE
R STATE
Sep 11 13:36:43 localhost Keepalived vrrp[18280]: VRRP Instance(Vl 1)setting protocol VIPs.
//省略部分信息

②备用服务器中，状态先切换为 MASTER，待主服务器恢复后再交回控制权。

[root@localhost~]# less /var/log/messages
……//省略部分信息
Sep 11 13:12:43 localhost Keepalived_vrrp[25338]: VRRP Instance(VI 1)Transition to
MASTER STATE
Sep 11 13:12:44 localhost Keepalived_vrrp[25338]: VRRP Instance(VI 1)
Entering MASTE
R STATE
Sep 11 13:12:44 localhost Keepalived_vrrp[25338]: VRRP Instance(Vl 1)setting protoc
ol VIPs.
…… //省略部分信息
Sep 11 13:14:23 localhost Keepalived vrrp[25338]: VRRP Instance (Vl 1)
Received highe
r prio advert
Sep 11 13:14:23 localhost Keepalived vrrp[25338]: VRRP Instance(Vl 1)Entering BACKU
P STATE
Sep 11 13:14:23 localhost Keepalived vrrp[25338]: VRRP Instance (VI 1)removing protocol VIPs.
… //省略部分信息

           通过上述测试过程，可以发现双机热备已经正常。客户机只要通过VIP地址就可以访问服务器所提供的 web 等应用。其中，任何一台服务器失效，另一台服务器将会立即接替服务，从而实现高可用性。实际应用时，注意主、备服务器所提供的 Web 服务内容要保持一致。

二：使用Keepalived 实现双机热备

         Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集，可以调用ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备。使用Keepalived 构建 LVS 群集更加简便易用，主要优势体现在:对 LVS 负载调度器实现热备切换，提高可用性;对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入。
          在基于 LVS+Keepalived 实现的 LVS 群集结构中，至少包括两台热备的负载调度器，三台以上的节点服务器。本节将以 DR 模式的 LVS 群集为基础，增加一台从负载调度器，使用 Keepalived 来实现主、从调度器的热备，从而构建兼有负载均衡、高可用两种能力的 LVS 网站群集平台，如图所示。

        使用 Keepalived 构建 LVS 群集时，也需要用到 ipvsadm 管理工具。但大部分工作会由Keepalived 自动完成，不需要手动执行 ipvsadm(除了查看和监控群集以外)。下面主要讲解 Keepalived 的服务器池设置，关于 NFS 共享服务的配置、Keepalived 的热备配置等在此不再详细阐述。

资源列表

1.基础环境配置

关闭防火墙和安全机制

安装服务并备份模板配置文件

2.配置主调度器

配置主调度器步骤如下:

(1)全局配置、热备配置

首先为主、从调度器实现热备功能，漂移地址使用LVS 群集的 VIP 地址。

(2)web 服务器池配置

     在 Keepalieved 的热备配置基础上添加“virtual_server VIP 端口[...}”区段来 配置虚拟服务器，主要包括对负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数的设置。

（3）重新启动 Keepalived 服务

重新启动 Keepalived 服务的命令如下:

3.配置从调度器

      从调度器的配置与主调度器基本相同，也包括全局配置、热备配置、服务器池配置，只需要调整 router id、state、priority 参数即可，其余内容完全相同。配置完成以后重启 Keepalived 服务。

[root@localhost~] # vi /etc/keepalived/keepalived. conf
global defs {
router_id LVS_HA_R2
//从调度器的名称
}
vrrp_instance Vl_l {
state BACKUP//从调度器的热备状态
priority 90
//从调度器的优先级
......//省略部分信息
}
virtual_server 192.168.10.172 80{
......//省略部分信息
[root@localhost~]# systemctl restart keepalived

4.配置Web节点服务器

     根据所选择的群集工作模式不同(DR或NAT)，节点服务器的配置也有些差异。以 DR模式为例，除了需要调整/proc系统的 ARP 响应参数以外，还需要为虚拟接口 10∶0 配置 VIP地址，并添加一条到 VIP 的本地路由。

DR模式需要节点服务器也配置vip

#!/bin/bash
# 修改为自己的 VIP
vip='192.168.207.200'
case "$1" in
    start)
    # 设置 ARP 参数
    echo "1" > /proc/sys/net/jpv4/conf/all/arp_ignore
    echo "2" > /proc/sys/net/jpv4/conf/all/arp_announce
    echo "1" > /proc/sys/net/jpv4/conf/default/arp_ignore
    echo "2" > /proc/sys/net/jpv4/conf/default/arp_announce
    echo "1" > /proc/sys/net/jpv4/conf/lo/arp_ignore
    echo "2" > /proc/sys/net/jpv4/conf/lo/arp_announce
 
# 临时添加 VIP（重启失效）
sudo ip addr add ${vip}/32 dev lo label lo:0
# 临时添加路由（重启失效）
sudo ip route add local ${vip}/32 dev lo
 
# 永久生效（通过 rc.local 或 NetworkManager 脚本）
echo "ip addr add ${vip}/32 dev lo label lo:0" | sudo tee -a /etc/rc.local
    echo "ip route add local ${vip}/32 dev lo" | sudo tee -a /etc/rc.local
    sudo chmod +x /etc/rc.local
    ;;
stop)
 
# 恢复 ARP 参数
echo "0" > /proc/sys/net/jpv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/jpv4/conf/all/arp_announce
echo "0" > /proc/sys/net/jpv4/conf/default/arp_ignore
echo "0" > /proc/sys/net/jpv4/conf/default/arp_announce
echo "0" > /proc/sys/net/jpv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/jpv4/conf/lo/arp_announce
 
# 移除临时添加的 VIP
sudo ip addr del ${vip}/32 dev lo label lo:0
# 移除临时添加的路由
sudo ip route del local ${vip}/32 dev lo
 
# 从 rc.local 中移除永久设置
sudo sed -i "/ip addr add ${vip}/32 dev lo label lo:0/d"/etc/rc.local
sudo sed -i "/ip route add local ${vip}/32 dev lo/d"/etc/rc.local
;;*
*echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0

5.测试LVS+Keepalived 高可用群集

      在客户机的浏览器中，能够通过LVS+Keepalived群集的 VIP 地址(192.168.10.172)正 常访问 Web 页面内容。当主、从调度器任何一个失效时，Web站点仍然可以访问(可能需要 刷新或者重新打开浏览器);只要服务器池有两台及以上的真实服务器可用，就可以实现访问量的负载均衡。通过主、从调度器的/var/log/messages 日志文件，可以跟踪故障切换过程;若要查看负载分配情况，可以执行“ipvsadm -ln”“ipvsadm -lnc”等操作命令。最终可以验证 LVS+Keepalived 高可用负载均衡群集的健壮性。