第九十六天 : LVS负载均衡

Linux Cluster :

Cluster : 计算机集合, 为解决某个特定问题组合起来形成的单个系统;

Linux Cluster 类型 :

LB : Load Balancing, 负载均衡;()
HA : High Avaiibality, 高可用;( 通过冗余的方式让活动主机出现问题时取而代之, 并具有原主机一致的功能)
HP : High Performance, 高性能;(组合多台计算机分散计算量)

 系统扩展方式:

Scale UP:向上扩展
Scale Out:向外扩展
Cluster

LB Cluster :

实现 :

硬件 :

F5 Big-IP
Citrix Netscaler
A10 A10

软件 :

lvs : Linux Virtual Server (内核级别实现)
nginx :
haproxy :(实现功能与nginx相似)
ats :

基于工作协议层次划分(承前启后) :

传输层 : (通用解决方案)(DIP : DPORT)(四层路由器)
lvs :
nginx : (基于stream机制模拟调度)
haproxy : (基于TCP模型)
应用层 : (应用专用)(根据请求模型分类进行分发)
proxy sferver:

http:nginx, httpd, haproxy(mode http), …
fastcgi:nginx, httpd, …
mysql:mysql-proxy, …

VS : 根据请求报文的目标IP和目标协议将其调度转发至某realserver, 根据调度算法来挑选

Director 和各RS 都得配置实用VIP

lvs : ipvsadm/ipvs
报文的流程 : PREROUTING —> INPUT上的ipvs —-> POSTROUTING
ipvsadm : 用户空间的命令行工具, 规则管理器, 用于管理集群服务及RealServer
ipvs : 工作与内核空间
lvs 集群的类型 :

lvs-nat : 修改请求报文的目标IP
lvs-dr : 封装新的MAC地址
lvs-tun : 在原请求IP报文之外新加一个IP首部
lvs-fullnat : 修改请求报文的源和目标IP

lvs-nat :

多目标IP的DNAT机制, 通过将请求报文中的目标地址和目标端口修改为某挑出的RS和RIP的PORT实现转发

1. RIP 和DIP 必须在同一个IP 网络, 且应该使用私网地址; RS的网关要指向DIP
2. 请求报文和响应报文都必须经由Director转发, Director易于成为系统瓶颈
3. 支持端口映射, 可修改请求报文的目标PORT;
4. vs 必须是Linux 系统, rs 可是任意系统

LVS

lvs-dr :

通过为请求报文重新封装一个MAC首部进行转发, 源MAC 是DIP 所在接口的MAC, 目标MAC是某挑选出的RS的RIP所在接口的MAC地址, 源IP/PORT, 以及目标IP/PORT均保持不变

1. 确保前端路由器将目标IP为VIP的请求报文发完Director :
a. 在前端网关左静态绑定
b. 在RS 上使用arptables
c. 在RS 上修改内核参数以限制ARP通过及应答基本

arp_announce

echo 1  > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 1  > /proc/sys/net/ipv4/conf/lo/arp_ignore

arp_ignore

echo 2  > /proc/sys/net/ipv4/conf/all/arp_announce

echo 2  > /proc/sys/net/ipv4/conf/lo/arp_announce

2. RS 的RIP 可以使用私网地址, 也可以是公网地址, RIP 与DIP 在同一网络, RIP 的网关不能指向DIP, 以确保响应报文不会经由Director
3. RS跟Director要在同一个物理网络;
4. 请求报文要经由Director,但响应不能经由Director,而是由RS直接发往Client;
5. 不支持端口映射;

报文从那个接口出去源IP就为此接口的IPLVS-DR

1. DIP, VIP, RIP 都应该是公网地址
2. RS 的网关不能, 也不可能指向DIP
3. 请求报文要经由Director, 但响应不能经由Director
4. 不支持端口映射
5. RS 的OS 得支持隧道功能

为了支持dr模式, 有下列几种方法解决 :

1. ARPtables 将IP和MAC地址进行绑定
2. 内核参数, 将VIP地址绑定在一个比较特殊的接口上, 使其不能直接在内网响应请求
3. 路由器设置 (有路由器的管理权限)

lvs-fullnat :

同时修改请求报文和源IP地址和目标IP地址进行转发
CIP —> DIP
VIP —> RIP
1. VIP 是公网地址, RIP和DIP是私网地址, 通常不在

ipvs scheduler 根据其调度时是否考虑当前RS的负载情况, 可分为动态方法和静态方法.(调度算法)

静态方法 :

RR : roundrobin 轮询
WRR : Weighted RR 加权轮询(考虑服务器的权重(服务器的服务能力))
SH : Source Hashing 源IP地址HASH, 实现 session sticy(WRR 是其原生算法), 完成会话绑定, 将来自于同一个IP地址的请求始终发往第一次挑中的RS, 从而实现会话的绑定.
DH : Destination Hashing 目标地址HASH, 将发往同一个目标地址的请求始终发至第一次挑中的RS
动态方法 : 主要根据每RS 当前的负载状态及调度算法进行调度;
LC : Last Connections
Overhead = activeconns*256+inactiveconns (最初的时候, 自上而下的进行接收请求)
WLC : Weighted LC 加权LC
Overhead = (activeconns*256+inactiveconns)/weight
SED : Shortest Expection Delay 最短期望延迟
Overhead = (activeconns*256+inactiveconns + 1)/weight
NQ : Never Queue 不排队算法

LBLC : Locality-Based LC 动态的DH算法
LBLCR : LBLC with Replication 带复制功能的LBLC

ipvs 集群 :
(先定义服务, 在定义集群)
集群服务 :
服务上的RS :
ipvsadm (管理集群, 管理集群服务, 查看)
ipvsadm命令:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

管理集群服务:增、改、删;
增、改:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删:

ipvsadm -D -t|u|f service-address

service-address:

-t|u|f:

-t: TCP协议的端口,VIP:TCP_PORT
-u: TCP协议的端口,VIP:UDP_PORT
-f:firewall MARK,是一个数字;

[-s scheduler]:指定集群的调度算法,默认为wlc;

管理集群上的RS:增、改、删;

增、改:

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删:

ipvsadm -d -t|u|f service-address -r server-address
server-address:

rip[:port]

选项:

lvs类型:

-g: gateway, dr类型
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight:权重;权重越高优先级越高

清空定义的所有内容:

ipvsadm -C

查看:
ipvsadm -L|l [options]

–numeric, -n:numeric output of addresses and ports 数字格式显示IP和PORT
–exact:expand numbers (display exact values) 精确值
–connection, -c:output of current IPVS connections 显示IPVS连接
–stats:output of statistics information 统计数据
–rate :output of rate information 速率

保存和重载:

ipvsadm -S = ipvsadm-save
ipvsadm-save > /path/file
ipvsadm -R = ipvsadm-restore
ipvsadm-restore < /path/file

重置清零 :
ipvsadm -Z

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port         CPS(每秒连接数量)    InPPS(每秒入站报文数)   OutPPS(每秒出站报文数)    InBPS   OutBPS
-> RemoteAddress:Port
TCP  192.168.48.142:80                   1        6        4      474      454
-> 10.1.99.99:80                       0        3        2      232      217
-> 10.1.99.100:80                      0        3        2      242      237

同一个Director 可负载多个集群

负载均衡的设计要点 :

1. 是否需要回话保持
2. 是否需要共享存储

共享存储 : DS(分布式存储)
数据同步 : rsync + inotify 实现数据同步

设计要点 :
1. RIP与DIP在同一IP网络, RIP的网关要指向DIP
2. 支持端口映射
lvs-dr :
为了提升网络的承载能力的设计方案

dr 模型中, 各主机上均需要配置VIP, 解决地址冲突的方式有三种 :

1. 在前端网卡做静态绑定;
2. 在各RS使用arptables;
3. 在个RS修改内核参数, 来限制arp响应和通告的级别;

限制响应级别 : arp_ignore

0 : 默认值, 表示可使用本地任意接口上配置的任意地址进行响应
1 : 仅在请求目标IP 配置在本地主机的接收到请求报文接口上时, 才给予响应;
限制通告级别 : apr_announce

1 comment
发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据