网站导航
> 文章列表 > LVS负载均衡群集

LVS负载均衡群集

网友: 文章列表 2024-03-22 03:37:44

LVS负载均衡群集

群集的含义

Cluster，集群、群集

由多台主机构成，但对外只表现为一个整体（集群中的多台主机都干一件事提供一样的服务），只提供一个访问入口（域名或IP地址），相当于一台大型计算机。

问题：

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求。

解决方法：

  1. 私用价格昂贵的小型机、大型机
  2. 使用多台相对廉价的普通服务器构建服务群集

通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并以同一个IP地址对外提供相同的服务。

根据群集所针对的目标差异，可分为三种类型

  • 负载均衡群集
  • 高可用群集
  • 高性能运算群集

负载均衡群集（Load Balance Cluster）

  • 提高应用系统的响应能力，尽可能处理更多的访问请求、减少延迟，为目标获得高并发、高负载（LB）的整体性能
  • LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如“DNS轮训”“反向代理”等

高可用群集（High Availability Cluster）

  • 提高应用系统的可靠性，尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。
  • HA的工作方式包括双工和主从两种模式。双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点自动切换为主节点。例如，“故障切换”“双击热备”等。

高性能运算群集（High Performance Computer Cluster）

  • 以提高应用程序的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
  • 高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。例如，“云计算”“网格计算”等。

负载均衡群集架构

负载均衡的结构

  • 第一层：负载调度器（Load Balancer或Director）

访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换纸备用调度器，确保高可用性。

  • 第二层：服务器池（Server Pool）

群集所提供的应用服务，由服务器池承担，其中每个节点具有独立的RIP地址（真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

  • 第三层：共享存储（Share Storage）

为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。

负载均衡群集是目前企业用的对多的群集类型

群集的负载调度技术有三种工作模式（LVS）

  • 地址转换
  • IP隧道
  • 直接路由

NAT模式

地址转换

  • Network Address Translation,简称NAT模式
  • 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各个节点回应客户机的访问出口。
  • 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。

TUN模式

IP隧道

  • IP Tunnel，简称TUN模式
  • 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet链接直接回应客户机，而不再经过负载调度器。
  • 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信。

✔DR模式

直接路由

  • Direct Routing，简称DR模式
  • 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
  • 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的Ip隧道

关于LVS虚拟服务器实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。

LVS现在已成为Linux内核的一部分，默认编译为ip_vs模块，必要时能够自动调用。在CentOS7 系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息。

[root@localhost~]# modprobe ip_vs

[root@localhost~]# cat /proc/net/ip_vs

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

->RemoteAddress：Port ForwardWeight ActiveConn InActConn

模块在：/usr/lib/modules/3.10.0-693.e17.x86_64/kernel/net/netfilter/ipvs中

echo $a | awk -F. '{print $1}'

echo ${a%%.*}

echo $a | grep -o "^[^.]*" #不以点开头的

LVS的负载调度算法

轮询（Round Robin）

将收到的访问请求按照顺序轮流分配给群集中的各个节点（真实服务器），均等的对待每一台服务器，而不管服务器的实际连接数和系统负载

加权轮询（Weighted Round Robin）

根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多

保证性能强的服务器承担更多的访问流量

目的地址哈希调度（Destination Hashing）

以目的地地址为关键字查找一个静态hash表来获得所需的RS（服务器）

源地址哈希调度（Source Hashing）

以源地址为关键字查找一个静态hash表来获得需要的RS。

动态调度算法：wlc lc lblc

wlc：加权最小连接数调度：假设各台服务器的权值依次为Wi，当前的tcp连接数依次为Ti，一次去Ti/Wi为最小的RS作为下一个分配的RS

lc：最小连接数调度（least-connection）：IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS.

lblc：给予地址的最小连接数调度（Locality-based Least-connection）:将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑

rpc端口：111 nfs端口：2049

共享配置文件：/etc/exports

/opt/html 192.168.179.0/24(rw,async,no_root_squash)

#root_squash 客户端用户进入会自动降权为匿名用户

chmod 777 html/

exportfs -arv 在线发布共享目录，如果重启来在线发布，会导致已经挂在nfs的客户端出现卡死现象

showmount -e 192.168.179.2x

systemctl stop firewalld

setenforce 0

mount 192.168.179.2x:/opt/html /usr/share/nginx/html

cp -r html/ www

chmod 777 www

vim /etc/fstab

192.168.179.2x:/opt/html /usr/share/nginx/html nfs defaults,_netdev 0 0

192.168.179.2x:/opt/www /usr/share/nginx/html nfs defaults,_netdev 0 0

#第一个0不做dump备份 第二个不做开机检查

exportfs -arv

systemctl enable --now nginx

实验：

 七层反向代理：

cd /etc/nginx/conf.d/
vim default.confupstream tomcat_server {server 192.168.179.21:8080;server 192.168.179.21:8081;server 192.168.179.23:8080;
}
server {listen       80;server_name  localhost;#access_log  /var/log/nginx/host.access.log  main;location / {root   /usr/share/nginx/html;index  index.html index.htm;}location ~* .*\\.jsp$ {proxy_pass http://tomcat_server;proxy_set_header HosT $host;proxy_set_header X-Real-Ip $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}#error_page  404              /404.html;

在调度器上新建网卡：cp ifcfg-ens33 ifcfg-ens35

 在nginx上修改网卡，gateway修改成调度器的地址

 在调度器上配置snet：

 vim /etc/sysctl

net.ipv4.ip_forward=1

sysctl -p

 

修改iptables规则 :

iptables -F && iptables -t nat -F

iptables -nL

iptables -t nat -A POSTROUTING -s 192.168.179.0/24 -o ens35 -j SNAT --to 12.0.0.10

 

加载模块modprobe ip_vs

cat /proc/net/ip_vs

进入/usr/lib/modules/3.10.0-693.e17.x86_64/kernel/net/netfilter/ipvs目录

遍历运行全部

for i in $(ls ./)

>do

>a=$(echo $i | awk -F. '{print $1}')

>modprobe $a

>echo $a

>done

使用ipvsadm工具创建虚拟服务器：（ipvsadm需要yum下载）

rpm -q ipvsadm

yum -y install ipvasadm

ipvsadm工具选项说明：

-A 添加虚拟服务器

-D 删除整个虚拟服务武器

-s 制定负载调度算法

-a 表示添加真实服务器（节点服务器）

-d 删除某一个节点

-t 指定VIP地址及 TCP端口

-r 指定RIP地址及 TCP端口

-m 表示是使用NAT群集模式

-g 表示使用DR模式

-i 表示是使用TUN模式

-w 设置权重（权重为0时表示暂停节点）

-p 60： 表示保持长连接60秒

-l 列表查看LVS

ipvsadm -C #清除原有原则

ipvsadm-save > /etc/sysconfig/ipvsadm

或者ipvsadm --save > /etc/sysonfig/ipvsadm

ls /etc/sysconfig

systemctl start ipvsadm

systemctl status ipvsadm

ipvsadm -ln

ipvsadm -C

ipvsadm -A -t 12.0.0.10:80 -s rr -p30#长连接保持时间30秒 #创建虚拟服务器先

ipvsadm -a -t 12.0.0.10:80 -r 192.168.179.22:80 -m

ipvsadm -a -t 12.0.0.10:80 -r 192.168.179.20:80 -m

ipvsadm -ln

备份ipvsadm方法：

ipvsadm --save > /opt/ipvsadm

ipvsadm-restore < /opt/ipvsadm

(与iptables类似)

修改nginx的keepalive_timeout 0;

systemctl restart nginx

netstat -lntp | grep :80 检查好习惯

客户端也换成和调度器一样网络VMnet1

修改适配器 12.0.0.120

网关指向调度器12.0.0.10

 进行测试：

 

生活知识

网络标签：

相关问题