安徽龙山建设有限公司网站,福田网站网页设计,域名怎样连接到网站,网站开发与维护宣传册LVS负载均衡群集NAT模式 一、集群与分布式1.1、集群的含义1.2、lvs模型1.3、系统性能扩展方式1.4、群集的三种类型1.4.1、负载均衡群集1.4.2、高可用群集1.4.3、高性能运算群集 1.5、LVS的负载调度算法1.5.1、轮询1.5.2、加权轮询1.5.3、最少连接1.5.4、加权最少连接1.5.5、ip_… LVS负载均衡群集NAT模式 一、集群与分布式1.1、集群的含义1.2、lvs模型1.3、系统性能扩展方式1.4、群集的三种类型1.4.1、负载均衡群集1.4.2、高可用群集1.4.3、高性能运算群集 1.5、LVS的负载调度算法1.5.1、轮询1.5.2、加权轮询1.5.3、最少连接1.5.4、加权最少连接1.5.5、ip_hash1.5.6、url_hash1.5.7、 fail 1.6、分布式系统1.7、集群和分布式1.8、集群设计原则1.9、集群设计实现1.9.1、基础设施层面1.9.2、业务层面 1.10、负载均衡群集架构1.11、 LB Cluster 负载均衡集群1.11.1、 按实现方式划分1.11.2、基于工作的协议层次划分1.11.3、负载均衡的会话保持 1.12、HA 高可用集群实现二、 Linux Virtual Server简介2.1、LVS介绍2.2、 LVS工作原理2.3、LVS 功能及组织架构2.3.1、应用于高访问量的业务2.3.2、扩展应用程序2.3.3、消除单点故障 2.4、 LVS集群类型中的术语 三、LVS工作模式和相关命令3.1、 LVS集群的工作模式3.1.1、 LVS的NAT模式3.1.2、 IP隧道3.1.3、直接路由3.1.4、 LVS工作模式总结和比较 四、ipvsadm 工具4.1 ipvsadm 工具选项说明 五、NAT模式 LVS负载均衡部署5.1部署共享存储NFS服务器192.168.11.115.2节点Web服务器 一、集群与分布式
1.1、集群的含义
cluster集群群集为解决某个特定问题将多台计算机组合起来形成的单个系统。由多台主机构成但对外只表现为一个整体
1.2、lvs模型 1.3、系统性能扩展方式
scale UP垂直扩展向上扩展增强性能更强的计算机运行同样的服务scale Out水平扩展增加设备并行运行多个服务调度分配问题 单台计算机的性能是有上限的不可能无限制地垂直扩展多核cpu意味着即使是单台计算机也可以并行的。那么为什么不一开始就并行化技术
1.4、群集的三种类型
负载均衡群集高可用群集高性能运算群集
1.4.1、负载均衡群集
LB负载均衡多个主机组成每个主机只承担一部分访问请求
提高应用系统的响应能力尽可能处理更多的访问请求减少延迟目标获得高并发高负载的整体性能LB的负载分配依赖于主节点的分流算法
1.4.2、高可用群集
HA高可用避免 SPOF
提高应用系统的可靠性尽可能地减少中断时间为目标确保服务的连续性达到高可用的容错效果HA的工作方式包括双工和主从两种模式
1.4.3、高性能运算群集
高性能运算群集 HPC高性能
提高应用系统的cpu运算速度扩展硬件资源和分析能力为目标获得相当于大型超级计算机的高性能运算能力高性能依赖于“分布式”运算、“并行运算”通过专用硬件和软件将多个服务器的cpu、内存等资源整合在一起实现只有大型超级计算机才具备的计算能力
1.5、LVS的负载调度算法
1.5.1、轮询
将收到的访问请求按照顺序轮流分配给群集中的各个节点均等的对待每台服务器而不管服务器实际的连接数和系统负载
1.5.2、加权轮询
根据调度器设置的权重值来分发请求权重值高的节点优先获得任务并且分配的请求越多这样可以保证性能高的节点承担更多请求
1.5.3、最少连接
根据真实服务器已建立的连接数进行分配将收到的访问请求优先分配给连接最少得节点如果所有的服务器节点性能相近采用这种方式可以更好地负载均衡
1.5.4、加权最少连接
在服务器节点的性能差异较大的情况下调度器可以根据节点服务器负载自动调整权重权重较高的节点将承担更大比例的活动连接负载
1.5.5、ip_hash
根据请求来源的IP地址进行hash计算得到后端服务器这样来自同一个ip的请求总是会落到同一台服务器上处理以至于可以将请求上下文信息存储在这个服务器上
1.5.6、url_hash
按访问URl的hash结果来分配请求使每个url定向到同一个后端服务器后端服务器为缓存时比较有效
1.5.7、 fail
采用的不是内建负载均衡使用的轮换的均衡算法而是可以根据页面大小、加载时间长短智能的进行负载均衡也就是根据后端服务器时间来分配用户请求响应时间短的优先分配
1.6、分布式系统
分布式存储 将数据分散存储在多台独立的设备上 。CephGlusterFSFastDFSMogileFS分布式计算 将该应用分解成许多小的部分分配给多台计算机进行处理。 hadoopSpark分布式常见应用 分布式应用-服务按照功能拆分使用微服务单一应用程序划分成一组小的服务服务之间互相协调、互相配合为用户提供最终价值服务分布式静态资源–静态资源放在不同的存储集群上分布式数据和存储–使用key-value缓存系统分布式计算–对特殊业务使用分布式计算比如Hadoop集群
1.7、集群和分布式
分布式是以缩短单个任务的执行时间来提升效率的而集群则是通过提高单位时间内执行的任务数来提升效率。 集群同一个业务系统部署在多台服务器上。集群中每一台服务器实现的功能没有差别数据和代码都是一样的。 分布式一个业务被拆成多个子业务或者本身就是不同的业务部署在多台服务器上。分布式中每一台服务器实现的功能是有差别的数据和代码也是不一样的分布式每台服务器功能加起来才是完整的业务。
1.8、集群设计原则
1.可扩展性—集群的横向扩展能力 2.可用性—无故障时间 (SLA service level agreement) 3.性能—访问响应时间 4.容量—单位时间内的最大并发吞吐量(C10K 并发问题)
1.9、集群设计实现
1.9.1、基础设施层面 提升硬件资源性能—从入口防火墙到后端 web server 均使用更高性能的硬件资源 多域名—DNS 轮询A记录解析 多入口—将A记录解析到多个公网IP入口 多机房—同城异地容灾 CDN(Content Delivery Network)—基于GSLB(Global Server Load Balance)实现全局负载均衡如DNS
1.9.2、业务层面 分层安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化 分割基于功能分割大业务为小服务 分布式对于特殊场景的业务使用分布式计算
1.10、负载均衡群集架构
1.第一层负载调度器Load Balancer或Director
2.第二层服务器池Server Pool
3.第三层共享存储Share Storage 1.11、 LB Cluster 负载均衡集群
1.11.1、 按实现方式划分
硬件 F5 Big-IPF5服务器负载均衡模块 Citrix Netscaler
A10 A10
软件
lvsLinux Virtual Server阿里四层 SLB (Server Load Balance)使用nginx支持七层调度阿里七层SLB使用 Tenginehaproxy支持七层调度atsApache Traffic Serveryahoo捐助给apacheperlbalPerl 编写
1.11.2、基于工作的协议层次划分
传输层通用DNAT 和 DPORT LVS nginxstream haproxymode tcp应用层专用针对特定协议常称为 proxy server httpnginx, httpd, haproxy(mode http), … fastcginginx, httpd, … mysqlmysql-proxy, mycat…
1.11.3、负载均衡的会话保持
1.session sticky同一用户调度固定服务器 Source IPLVS sh算法对某一特定服务而言 Cookie
2.session replication每台服务器拥有全部session复制 session multicast cluster
3.session server专门的session服务器server MemcachedRedis
1.12、HA 高可用集群实现
keepalivedvrrp协议 Ais应用接口规范 heartbeat cmanrgmanager(RHCS) coresync_pacemaker
二、 Linux Virtual Server简介
2.1、LVS介绍
LVSLinux Virtual Server负载调度器内核集成章文嵩花名正明, 阿里的四层SLB(Server Load Balance)是基于LVSkeepalived实现
LVS 官网http://www.linuxvirtualserver.org/
阿里SLB和LVS
https://yq.aliyun.com/articles/1803
https://github.com/alibaba/LVS整个SLB系统由3部分构成:四层负载均衡七层负载均衡和控制系统
四层负载均衡 采用开源软件LVS (linux virtual server)并根据云计算需求对其进行了定制化;该技术已经在阿里巴巴内部业务全面上线应用2年;
七层负载均衡采用开源软件Tengine;该技术已经在阿里巴巴内部业务全面上线应用3年多;·控制系统用于配置和监控负载均衡系统;
2.2、 LVS工作原理
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS根据调度算法来挑选RS。LVS是内核级功能工作在INPUT链的位置将发往INPUT的流量进行“处理”
2.3、LVS 功能及组织架构
负载均衡的应用场景为高访问量的业务提高应用程序的可用性和可靠性。
2.3.1、应用于高访问量的业务
如果您的应用访问量很高可以通过配置监听规则将流量分发到不同的云服务器 ECSElastic Compute Service 弹性计算服务实例上。此外可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS
2.3.2、扩展应用程序
可以根据业务发展的需要随时添加和移除ECS实例来扩展应用系统的服务能力适用于各种Web服务器和App服务器。
2.3.3、消除单点故障
可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后负载均衡会自动屏蔽故障的ECS实例将请求分发给正常运行的ECS实例保证应用系统仍能正常工作
2.4、 LVS集群类型中的术语 VSVirtual ServerDirector Server(DS), Dispatcher(调度器)Load Balancerlvs服务器 RSReal Server(lvs), upstream server(nginx), backend server(haproxy)真实服务器 CIPClient IP客户机IP VIPVirtual serve IP VS外网的IP DIPDirector IP VS内网的IP RIPReal server IP 真实IP
三、LVS工作模式和相关命令
3.1、 LVS集群的工作模式 负载均衡群集是目前企业用得最多的群集类型 群集的负载调度技术有三种工作模式 lvs-nat修改请求报文的目标IP,多目标IP的DNAT lvs-dr操纵封装新的MAC地址直接路由 lvs-tun隧道模式
3.1.1、 LVS的NAT模式 lvs-nat本质是多目标IP的DNAT通 过将请求报文中的目标地址和目标端口修改为某处的RS的RIP和PORT实现转发 1RIP和DIP应在同一个IP网络且应使用私网地址RS的网关要指向DIP 2请求报文和响应报文都必须经由Director转发Director易于成为系统瓶颈 3支持端口映射可修改请求报文的目标PORT 4VS必须是Linux系统RS可以是任意OS系统
3.1.2、 IP隧道 1.RIP和DIP可以不处于同一物理网络中RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是说集群节点可以跨互联网实现。DIP, VIP, RIP可以是公网地址。
2.RealServer的通道接口上需要配置VIP地址以便接收DIP转发过来的数据包以及作为响应的报文源IP。
3.DIP转发给RealServer时需要借助隧道隧道外层的IP头部的源IP是DIP目标IP是RIP而RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的源IP是VIP目标IP是CIP
4.请求报文要经由Director但响应不经由Director,响应由RealServer自己完成
5.不支持端口映射
6.RS的OS须支持隧道功能
3.1.3、直接路由 直接路由Direct Routing简称 DR 模式采用半开放式的网络结构与 TUN模式的结构类似但各节点并不是分散在各地而是与调度器位于同一个物理网络。 负载调度器与各节点服务器通过本地网络连接不需要建立专用的 IP 隧道直接路由LVS默认模式,应用最广泛,通过请求报文重新封装一个MAC首部进行转发源MAC是DIP所在的接口的MAC目标MAC是某挑选出的RS的RIP所在接口的MAC地址 源IP/PORT以及目标IP/PORT均保持不变
3.1.4、 LVS工作模式总结和比较
NATTUNDR优点端口转换WAN性能最好缺点 性能瓶颈服务器支持隧道模式不支持跨网段真实服务器要求anyTunnelingNon-arp device支持网络private私网LAN/WAN私网/公网LAN私网真实服务器数量low (10~20)High (100)High (100)真实服务器网关lvs内网地址Own router网工定义Own router网工定义
四、ipvsadm 工具
4.1 ipvsadm 工具选项说明
选项解释-A添加虚拟服务器-D删除整个虚拟服务器-s指定负载调度算法(轮询:rr、加权轮询:wrr、最少连接:lc、加权最少连接: wlc)-a表示添加真实服务器(节点服务器)-d删除某一个节点-t指定VIP地址及TCP端口-r指定RIP地址及TCP端口-m表示使用NAT群集模式-g表示使用DR模式-i表示使用TUN模式-w设置权重(权重为0时表示暂停节点)-p 60表示保持长连接60秒-l列表查看LVS虚拟服务器〔默认为查看所有)-n以数字形式显示地址、端口等信息常与-选项组合使用。ipvsadm -ln
五、NAT模式 LVS负载均衡部署
配置环境
负载调度器配置双网卡 内网192.168.11.14(ens33) 外网卡12.0.0.1(ens36)
二台WEB服务器集群池192.168.11.12 192.168.11.13
一台NFS共享服务器192.168.11.11
客户端5.1部署共享存储NFS服务器192.168.11.11 NFS 是一种基于 TCP/IP 传输的网络文件系统协议最初由 Sun 公司开发。通过使用 NFS 协议客户机可以像访问本地目录一样访问远程服务器中的共享资源。对于大多数负载均衡 群集来说使用 NFS 协议来共享数据存储是比较常见的做法NFS 也是 NAS 存储设备必然支 持的一种协议。 NFS 服务的实现依赖于 RPCRemote Process Call远端过程调用机制以完成远程 到本地的映射过程。在 CentOS 7 系统中需要安装 nfs-utils、rpcbind 软件包来提供 NFS 共享服务前者用于 NFS 共享发布和访问后者用于 RPC 支持
1. #关闭防火墙
systemctl stop firewalld
setenforce 02. #安装nfs服务
yum install nfs-utils rpcbind -y3. #新建目录并创建站点文件
cd /opt/
mkdir yxp dhc
echo this is yxp yxp/index.html
echo this is dhc dhc/index.html4. #开启服务
systemctl start rpcbind
systemctl start nfs5. #授权
chmod 777 yxp/ dhc/6. #设置共享策略
vim /etc/exports
/opt/yxp 192.168.11.0/24(rw,sync)
/opt/dhc 192.168.11.0/24(rw,sync)7. #发布服务
systemctl restart nfs
exportfs -rv
关闭防火墙 安装nfs服务 新建目录并创建站点文件 开启服务 授权 设置共享策略 发布服务
5.2节点Web服务器
第一台192.168.11.12
1. #关闭防火墙
systemctl stop firewalld
setenforce 02. #安装httpd
yum install -y httpd3. #查看nfs服务
showmount -e 192.168.11.114. #挂载站点
#法一临时挂载
df
cat /var/www/html/index.html
mount 192.168.11.11:/opt/yxp /var/www/html/
#法二永久挂载
vim /etc/fstab
192.168.11.11:/opt/yxp/ /var/www/html/ nfs defaults,_netdev 0 0
mount -a5. #开启httpd服务
systemctl start httpd6. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY192.168.11.11
#DNS18.8.8.87. #重启网络服务
systemctl restart network关闭防火墙 安装httpd 查看nfs服务 挂载站点临时挂载 永久挂载 开启httpd服务 指定网关 重启网络服务 第二台192.168.11.13
1. #关闭防火墙
systemctl stop firewalld
setenforce 02. #安装httpd
yum install -y httpd3. #查看nfs服务
showmount -e 192.168.11.114. #挂载站点
#法一临时挂载
mount 192.168.11.11:/opt/dhc /var/www/html/
df
cat /var/www/html/index.html
#法二永久挂载
vim /etc/fstab
192.168.11.11:/opt/dhc/ /var/www/html/ nfs defaults,_netdev 0 0
mount -a5. #开启httpd服务
systemctl start httpd6. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY192.168.11.11
#DNS18.8.8.87. #重启网络服务
systemctl restart network
关闭防火墙 安装httpd 查看nfs服务 临时挂载站点 永久挂载 开启httpd服务 指定网关 重启网络服务 5.3 负载调度器 内网192.168.11.11(ens33) 外网卡12.0.0.1(ens36)
1. #关闭防火墙
systemctl stop firewalld
setenforce 02. #安装ipvsadm
yum install -y ipvsadm*3. #添加一块网卡我这里是ens36配置网卡重启网络
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens36
去掉网关、UUID、修改IP
vim ifcfg-ens33
去掉网关
systemctl restart network4. #打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward 1
sysctl -p5. #防火墙做策略
#查看策略
iptables -nL -t nat
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 192.168.11.0/24 -o ens37 -j SNAT --to 12.0.0.1
#查看策略
iptables -nL -t nat6. #加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs7. #开启ipvsadm服务
ipvsadm-save /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service8. #清空策略
ipvsadm -C9. #制定策略
#指定IP地址 外网的入口 -s rr 轮询
ipvsadm -A -t 12.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 12.0.0.1:80 -r 192.168.11.12:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.11.13:80 -m
#开启服务
ipvsadm10. 查看策略
ipvsadm -ln关闭防火墙 安装ipvsadm 添加一块网卡我这里是ens36配置网卡 打开路由转发功能 防火墙做策略 开启路由功能刷新 开启ipvsadm服务 清空策略 制定查看策略 连通性测试
