LVS（Linux virual server）四层负载均衡

川trans

586人浏览 · 2026-02-25 09:51:04

川trans · 2026-02-25 09:51:04 发布

一、LVS 基础概述

1 定义与核心作用

LVS（Linux Virtual Server）是 Linux 内核层实现的高性能、高可用负载均衡集群技术，为 Linux 内核标准模块，由章文嵩博士开发。核心作用是将前端请求流量分发到后端多台真实服务器（Real Server，RS），提升服务并发处理能力和可用性。

2 概念名词

名词	含义
VS（Virtual Server）	调度器，负责请求调度分发
RS（Real Server）	真实服务器，提供实际业务服务
CIP	客户端 IP
VIP	虚拟服务 IP，对外开放的客户访问 IP
DIP	调度器内网 IP，用于访问后端 RS
RIP	真实服务器 IP
访问流程	CIP <--> VIP == DIP <--> RIP

二.集群和分布式

1.系统性能扩展方式

Scale UP：向上扩展,增强
Scale Out：向外扩展,增加设备，调度分配问题，Cluster

2.集群Cluster

LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问
HA：High Availiablity（高可用）SPOF（single Point Of failure）

MTBF:Mean Time Between Failure 平均无故障时间，正常时间

MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间

A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%
HPC：High-performance computing（高性能计算，国家战略资源，不在课程范围内）

3.分布式

分布式存储:Ceph，GlusterFs，FastDFS，MogileFs

分布式计算:hadoop，Spark

分布式常见应用

分布式应用-服务按照功能拆分，使用微服务
分布式静态资源--静态资源放在不同的存储集群上
分布式数据和存储--使用key-value缓存系统
分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

4.集群和分布式区别

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的；提高单位时间内执行的任务数来提升效率
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务；缩短单个任务的执行时间来提升效率

三.lvs（Linux virtual server）运行原理

1. 集群体系结构

由客户端、负载调度器（VS）、真实服务器集群（RS）、共享存储 / 数据库组成，VS 根据请求报文的目标 IP、协议、端口，通过调度算法将请求转发至指定 RS。

2. 四大工作模式

NAT 模式（网络地址转换）

原理：多目标 IP 的 DNAT，修改请求报文的目标 IP（VIP→RIP）和端口，响应报文原路返回经 VS 转发

网络要求：RIP 与 DIP 在同一私网，RS 网关必须指向 DIP

特点：支持端口映射，RS 可使用任意 OS；请求 / 响应均经 VS，VS 易成为性能瓶颈

数据流程：客户端→VIP（VS）→修改目标为 RIP→RS；RS→DIP（VS）→修改源为 VIP→客户端

DR 模式（直接路由，默认）

原理：仅修改请求报文的 MAC 地址（VIP 的 MAC→目标 RS 的 MAC），IP / 端口保持不变，响应报文由 RS 直接发往客户端

网络要求：VS 和所有 RS 均配置 VIP，且在同一物理网络；RS 网关不能指向 DIP

特点：请求经 VS、响应直连客户端，性能高；不支持端口映射，RS 需禁用 ARP

数据流程：客户端→VIP（VS）→修改 MAC→RS；RS→直接以 VIP 为源 IP→客户端

TUN 模式（IP 隧道）

原理：在原请求报文外封装新 IP 首部（源 DIP，目标 RIP），原 IP（CIP→VIP）不变，RS 通过隧道接收报文并直连客户端响应

网络要求：DIP、VIP、RIP 均为公网地址，RS 需支持隧道功能

特点：支持跨网络部署 RS，性能高；不支持端口映射，RSOS 需兼容隧道

FULLNAT 模式

原理：同时修改请求报文的源 IP（CIP→DIP）和目标 IP（VIP→RIP），实现公网与私网完全隔离

网络要求：VIP 为公网，DIP/RIP 为私网，且可不在同一网络；因此，RIP的网关一般不会指向DIP

特点：支持端口映射，网络隔离性好；请求 / 响应均经 VS，内核默认不支持

3. 工作模式总结

	NAT模式	TUN模式	DR模式
RS操作系统	不限	支持隧道	禁用arp
调度器和服务器网络	可跨网络	可跨网络	不可跨网络
调度服务器数量服务器数量	少	多	多
RS服务器网关	指向到调度器DIP	指向到路由	指向到路由

lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

4. 调度算法

1.静态调度算法

1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐

2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少

3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

2.动态调度算法（核心为 WLC，默认）

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度

1、LC：least connections（最少链接发）

适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数）

2、WLC：Weighted LC（权重最少链接）

默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight

3、SED：Shortest Expection Delay,

初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight

但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

3.在4.15版本内核后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布

在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度

当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。

2.OVF(Overflow-connection)调度算法

基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:

未过载(未设置IP_VS_DEST_F OVERLOAD标志)
真实服务器当前的活动连接数量小于其权重值
其权重值不为零

四.lvs部署命令

1.lvs软件相关信息

组件	相应路径/名称
程序包	ipvsadm
系统服务	ipvsadm
主程序	/usr/sbin/ipvsadm
规则保存	/usr/sbin/ipvsadm-save
规则重载	/usr/sbin/ipvsadm-restore
配置文件	/etc/sysconfig/ipvsadm-config
调度规则文件	/etc/sysconfig/ipvsadm

2.ipvsadm命令

核心功能:

集群服务管理:增、删、改
集群服务的RS管理:增、删、改
查看

命令参数

管理集群服务 
ipvsadm -A|E -t（tcp）|u（udp）|f（防护墙标签） \ 
service-address(集群地址) \ 
[-s scheduler(调度算法)] \ 
[-p [timeout]] \ 
[-M netmask] \ 
[--pepersistence_engine] \ 
[-b sched-flags] 
ipvsadm -D -t|u|f service-address 删除 
ipvsadm –C 清空 
ipvsadm –R 重载 
ipvsadm -S [-n] 保存 
管理集群中的real server 
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w 
weight](权重) 
ipvsadm -d -t|u|f service-address -r server-address 删除RS 
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器

3.lvs集群中的增删改

1.管理集群服务中的增删改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A	#添加
-E	#修改
-t	#tcp服务
-u	#udp服务
-s	#指定调度算法，默认为WLC
-p	#设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver
-f  #firewall mask 火墙标记，是一个数字

2.管理集群中RealServer的增删改

ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]

-a		#添加realserver
-e		#更改realserver
-t		#tcp协议
-u		#udp协议
-f		#火墙 标签
-r		#realserver地址
-g		#直连路由模式
-i		#ipip隧道模式
-m	    #nat模式
-w	    #设定权重
-Z	    #清空计数器
-C	    #清空lvs策略
-L	    #查看lvs策略
-n	    #不做解析
--rate ：输出速率信息

实验 1：NAT 模式 LVS 集群部署

1. 实验环境

VS（node1）：双网卡，外网 VIP=172.25.254.100，内网 DIP=192.168.0.100

RS1（node2）：RIP=192.168.0.101，网关指向 DIP（192.168.0.100）

RS2（node3）：RIP=192.168.0.102，网关指向 DIP（192.168.0.100）

测试机（node4）：IP=172.25.254.104，可访问 VIP

（1）VS 节点配置

# 1. 启用内核路由功能
echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf
sysctl --system
 
# 2. 安装ipvsadm
yum install ipvsadm -y
 
# 3. 添加集群服务（VIP:80，RR调度）
ipvsadm -A -t 172.25.254.100:80 -s rr
 
# 4. 添加RS（-m NAT模式，权重默认1）
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.101:80 -m
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.102:80 -m
 
# 5. 查看规则
ipvsadm -Ln
 
# 6. 保存规则并开启开机自启
ipvsadm -Sn > /etc/sysconfig/ipvsadm
systemctl enable --now ipvsadm.service

查看规则

（2）RS 节点配置

1.RS1配置

# 安装httpd
yum install httpd -y
 
# 启动并设置开机自启
systemctl enable --now httpd
 
# 验证80端口是否监听
ss -tulnp | grep :80

2.RS2配置

# 安装httpd
yum install httpd -y
 
# 启动并设置开机自启
systemctl enable --now httpd
 
# 验证80端口是否监听
ss -tulnp | grep :80

（3）测试

# 测试机执行循环访问，验证轮询效果
for N in {1..6};do curl 172.25.254.100;done
 
# 修改为WRR加权轮询（RS1权重2，RS2权重1）
ipvsadm -E -t 172.25.254.100:80 -s wrr
ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 2
ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1
 
# 重新测试，RS1调度次数为RS2的2倍
for N in {1..6};do curl 172.25.254.100;done

实验 2：DR 模式 LVS 集群部署

1.实验环境

主机名	ip	vip	角色
client	172.25.254.10 vmware NAT	null	测试主机
router	NAT-eth0:172.25.254.100，仅主机-eth1:192.168.0.10	null	路由器
lvs	192.168.0.200，GW 192.168.0.10 仅主机	lo:192.168.0.100	调度器
RS1	192.168.0.101，GW 192.168.0.10 仅主机	lo:192.168.0.100	web服务器1
RS2	192.168.0.102, GW 192.168.0.10 仅主机	lo:192.168.0.100	web服务器2

（1）RS 节点配置

#禁用 ARP（解决 VIP 地址冲突，核心）
# 修改内核参数，限制ARP通告/应答
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
#安装并启动 Web 服务（httpd/nginx），确保 80 端口可访问
# 安装httpd
yum install httpd -y
 
# 启动并设置开机自启
systemctl enable --now httpd
 
# 验证80端口是否监听
ss -tulnp | grep :80

（2）VS 节点配置

#配置 LVS 规则
# 安装ipvsadm
yum install ipvsadm -y
 
# 添加集群服务（VIP:80，WRR调度）
ipvsadm -A -t 192.168.0.100:80 -s wrr
 
# 添加RS（-g DR模式，权重1）
ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.101:80 -g
ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.102:80 -g
 
# 查看规则
ipvsadm -Ln
 
# 保存规则并开机自启
ipvsadm -Sn > /etc/sysconfig/ipvsadm
systemctl enable --now ipvsadm.service

（3）测试

实验 3：防火墙标记（FWM）解决多端口轮询错乱

1.轮询规则中可能会遇到的错误

以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出现了一个轮询错乱的问题

当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上

2.防火墙标记解决轮询调度问题

# 步骤1：VS节点给80/443报文打标记6666
iptables -t mangle -A PREROUTING -d 192.168.0.100 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666
 
# 步骤2：清空原有80/443规则
ipvsadm -C
 
# 步骤3：基于标记6666创建集群服务（RR调度）
ipvsadm -A -f 6666 -s rr
 
# 步骤4：添加RS至标记集群（DR模式）
ipvsadm -a -f 6666 -r 192.168.0.101 -g
ipvsadm -a -f 6666 -r 192.168.0.102 -g
 
# 步骤5：测试验证
curl http://192.168.0.100;curl -k https://192.168.0.100