做网站卖什么发财,国外的跨境电商平台有哪些,保洁公司用哪些网站做推广,客户关系管理案例经典背景 作为国内领先的生活服务平台#xff0c;美团点评很多业务都具有非常显著、规律的”高峰“和”低谷“特征。尤其遇到节假日或促销活动#xff0c;流量还会在短时间内出现爆发式的增长。这对集群中心的资源弹性和可用性有非常高的要求#xff0c;同时也会使系统在支撑业务… 背景 作为国内领先的生活服务平台美团点评很多业务都具有非常显著、规律的”高峰“和”低谷“特征。尤其遇到节假日或促销活动流量还会在短时间内出现爆发式的增长。这对集群中心的资源弹性和可用性有非常高的要求同时也会使系统在支撑业务流量时的复杂度和成本支出呈现指数级增长。而我们需要做的就是利用有限的资源最大化地提升集群的吞吐能力以保障用户体验。 本文将介绍美团点评Kubernetes集群管理与使用实践包括美团点评集群管理与调度系统介绍、Kubernetes管理与实践、Kubernetes优化与改造以及资源管理与优化等。 美团点评集群管理与调度系统 美团点评在集群管理和资源优化这条道路上已经“摸爬滚打”多年。2013年开始构建基于传统虚拟化技术的资源交付方式2015年7月开始建立完善的集群管理与调度系统——HULK目标是推动美团点评服务容器化2016年完成基于Docker容器技术自研实现了弹性伸缩能力来提升交付速度和应对快速扩缩容的需求实现弹性扩容、缩容提升资源利用率提升业务运维效率合理有效的降低企业IT运维成本2018年开始基于Kubernetes来进行资源管理和调度进一步提升资源的使用效率。 最初美团点评通过基于Docker容器技术自研实现了弹性伸缩能力主要是为了解决基于虚拟化技术的管理及部署机制在应对服务快速扩容、缩容需求时存在的诸多不足。例如资源实例创建慢、无法统一运行环境、实例部署和交付流程长、资源回收效率低、弹性能力差等等。经过调研与测试结合业界的实践经验我们决定基于Docker容器技术自研集群管理与调度系统有效应对快速扩缩容的需求提升资源的利用效率。我们把它叫做”绿巨人”——HULK这个阶段可以看作是HULK1.0。 之后在生产环境中经过不断摸索和尝试我们逐渐意识到仅仅满足于集群的弹性伸缩能力是不够的成本和效率肯定是未来必将面临且更为棘手的问题。我们吸取了2年来HULK 1.0的开发和运维经验在架构和支撑系统层面做了进一步优化和改进并借助于生态和开源的力量来为HULK赋能即引入了开源的集群管理与调度系统Kubernetes期望能进一步提升集群管理、运行的效率和稳定性同时降低资源成本。所以我们从自研平台转向了开源的Kubernetes系统并基于Kubernetes系统打造了更加智能化的集群管理与调度系统——HULK2.0。 架构全览 在架构层面HULK2.0如何能与上层业务和底层Kubernetes平台更好地分层和解耦是我们在设计之初就优先考虑的问题。我们期望它既要能对业务使用友好又能最大限度地发挥Kubernetes的调度能力使得业务层和使用方毋需关注资源关系细节所求即所得同时使发布、配置、计费、负载等逻辑层与底层的Kubernetes平台解耦分层并保持兼容原生Kubernetes API来访问Kubernetes集群。从而可以借助于统一的、主流的、符合业界规范的标准来解决美团点评基础架构面临的复杂的、多样的、不统一的管理需求。 架构介绍 自上而下来看美团集群管理与调度平台面向全公司服务有各个主要业务线、统一的OPS平台以及Portal平台HULK不可能针对每个平台定制化接口和解决方案所以需要将多样的业务和需求抽象收敛,最终统一通过HULK API来屏蔽HULK系统的细节做到HULK与上层业务方的解耦。HULK API是对业务层和资源需求的抽象是外界访问HULK的唯一途径。 解决了上层的问题后我们再来看与下层Kubernetes平台的解耦。HULK接到上层资源请求后首先要进行一系列的初始化工作包括参数校验、资源余量、IP和Hostname的分配等等之后向Kubernetes平台实际申请分配机器资源最终将资源交付给用户Kubernetes API进一步将资源需求收敛和转换让我们可以借助于Kubernetes的资源管理优势。Kubernetes API旨在收敛HULK的资源管理逻辑并与业界主流对齐。此外因为完全兼容Kubernetes API可以让我们借助社区和生态的力量共同建设和探索。 可以看到HULK API和Kubernetes API将我们整个系统分为三层这样可以让每一层都专注于各自的模块。 Kubernetes管理与实践 为什么会选择Kubernetes呢Kubernetes并不是市面上唯一的集群管理平台其他如Docker Swarm或Mesos之所以选择它除了它本身优秀的架构设计我们更加看重的是Kubernetes提供的不是一个解决方案而是一个平台和一种能力。这种能力能够让我们真正基于美团点评的实际情况来扩展同时能够依赖和复用多年来的技术积累给予我们更多选择的自由包括我们可以快速地部署应用程序而无须面对传统平台所具有的风险动态地扩展应用程序以及更好的资源分配策略。 Kubernetes集群作为整个HULK集群资源管理与平台的基础需求是稳定性和可扩展性风险可控性和集群吞吐能力。 集群运营现状 集群规模10万级别线上实例多地域部署还在不断快速增长中。业务的监控告警集群对应用的启动和状态数据进行采集container-init自动集成业务监控信息业务程序毋需关注做到可插拔、可配置。资源的健康告警从资源的角度对 Node、Pod和 Container等重要数据监控采集及时发现它们的状态信息例如 Node不可用、Container不断重启等等。定时巡检与对账每天自动对所有宿主机进行状态检查包括剩余磁盘量数据卷、D进程数量、宿主机状态等并对AppKey扩容数据和实际的Pod和容器数据同步校验及时发现不一致情况。集群数据可视化对当前集群状态包括宿主机资源状态、服务数、Pod数、容器化率、服务状态、扩缩容数据等等可视化并提供了界面化的服务配置、宿主机下线以及Pod迁移操作入口。容量规划与预测提前感知集群资源状态预先准备资源基于规则和机器学习的方式感知流量和高峰保证业务正常、稳定、高效地运行。Kubernetes优化与改造 kube-scheduler性能优化 我们有集群在使用1.6版本的调度器随着集群规模的不断增长旧版本的Kubernetes调度器1.10之前版本在性能和稳定性的问题逐渐凸显由于调度器的吞吐量低导致业务扩容超时失败在规模近3000台的集群上一次Pod的调度耗时在5s左右。Kubernetes的调度器是队列化的调度器模型一旦扩容高峰等待的Pod数量过多就会导致后面Pod的扩容超时。为此我们对调度器性能进行了大幅度的优化并取得了非常明显的提升根据我们的实际生产环境验证性能比优化前提升了400%以上。 Kubernetes调度器工作模型如下 kubernetes调度器图片来源于网络 预选失败中断机制 一次调度过程在判断一个 Node是否可作为目标机器时主要分为三个阶段 预选阶段硬性条件过滤掉不满足条件的节点这个过程称为 Predicates。这是固定先后顺序的一系列过滤条件任何一个 Predicate不符合则放弃该 Node。优选阶段软性条件对通过的节点按照优先级排序称之为 Priorities。每一个Priority都是一个影响因素都有一定的权重。选定阶段从优选列表中选择优先级最高的节点称为 Select。选择的Node即为最终部署Pod的机器。 通过深入分析调度过程可以发现调度器在预选阶段即使已经知道当前 Node不符合某个过滤条件仍然会继续判断后续的过滤条件是否符合。试想如果有上万台 Node节点这些判断逻辑会浪费很多计算时间这也是调度器性能低下的一个重要因素。 为此我们提出了“预选失败中断机制”即一旦某个预选条件不满足那么该 Node即被立即放弃后面的预选条件不再做判断计算从而大大减少了计算量调度性能也大大提升。如下图所示 我们把该项优化贡献给了 Kubernetes社区(详见PR)增加了 alwaysCheckAllPredicates 策略选项并在 Kubernetes1.10版本发布并开始作为默认的调度策略当然你也可以通过设置alwaysCheckAllPredicatestrue使用原先的调度策略。 在实际测试中调度器至少可以提升40%的性能如果你目前在使用的Kube-scheduler的版本低于1.10那么建议你尝试升级到新的版本。 局部最优解 对于优化问题尤其是最优化问题我们总希望找到全局最优的解或策略但是当问题的复杂度过高要考虑的因素和处理的信息量过多时我们往往会倾向于接受局部最优解因为局部最优解的质量不一定都是差的。尤其是当我们有确定的评判标准同时标明得出的解是可以接受的话通常会接收局部最优的结果。这样从成本、效率等多方面考虑才是我们在实际工程中真正会采取的策略。 图片来源于网络 当前调度策略中每次调度调度器都会遍历集群中所有的Node以便找出最优的节点这在调度领域称之为BestFit算法。但是在生产环境中我们是选取最优Node还是次优Node其实并没有特别大的区别和影响有时候我们还是会避免选取最优的Node例如我们集群为了解决新上线机器后频繁在该机器上创建应用的问题就将最优解随机化。换句话说找出局部最优解就能满足需求。 假设集群一共1000个Node一次调度过程PodA这其中有700个Node都能通过Predicates预选阶段那么我们就会把所有的Node遍历并找出这700个Node然后经过得分排序找出最优的Node节点NodeX。但是采用局部最优算法即我们认为只要能找出N个Node并在这N个Node中选择得分最高的Node即能满足需求比如默认找出100个可以通过Predicates预选阶段的Node即可最优解就在这100个Node中选择。当然全局最优解NodeX也可能不在这100个Node中但是我们在这100个Node中选择最优的NodeY也能满足要求。最好的情况是遍历100个Node就找出这100个Node也可能遍历了200个或者300个Node等等这样我们可以大大减少计算时间同时也不会对我们的调度结果产生太大的影响。 局部最优的策略是我们与社区合作共同完成的这里面还涉及到如何做到公平调度和计算任务优化的细节(详见PR1,PR2)该项优化在Kubernetes 1.12版本中发布并作为当前默认调度策略可以大幅度提升调度性能尤其在大规模集群中的提升效果非常明显。 kubelet改造 风险可控性 前面提到稳定性和风险可控性对大规模集群管理来说非常重要。从架构上来看Kubelet是离真实业务最近的集群管理组件我们知道社区版本的Kubelet对本机资源管理有着很大的自主性试想一下如果某个业务正在运行但是Kubelet由于出发了驱逐策略而把这个业务的容器干掉了会发生什么这在我们的集群中是不应该发生的所以需要收敛和封锁Kubelet的自决策能力它对本机上业务容器的操作都应该从上层平台发起。 容器重启策略 Kernel升级是日常的运维操作在通过重启宿主机来升级Kernel版本的时候我们发现宿主机重启后上面的容器无法自愈或者自愈后版本不对这会引发业务的不满也造成了我们不小的运维压力。后来我们为Kubelet增加了一个重启策略Reuse同时保留了原生重启策略Rebuild保证容器系统盘和数据盘的信息都能保留宿主机重启后容器也能自愈。 IP状态保持 根据美团点评的网络环境我们自研了CNI插件并通过基于Pod唯一标识来申请和复用IP。做到了应用IP在Pod迁移和容器重启之后也能复用为业务上线和运维带来了不少的收益。 限制驱逐策略 我们知道Kubelet拥有节点自动修复的能力例如在发现异常容器或不合规容器后会对它们进行驱逐删除操作这对于我们来说风险太大我们允许容器在一些次要因素方面可以不合规。例如当Kubelet发现当前宿主机上容器个数比设置的最大容器个数大时会挑选驱逐和删除某些容器虽然正常情况下不会轻易发生这种问题但是我们也需要对此进行控制降低此类风险。 可扩展性 资源调配 在Kubelet的扩展性方面我们增强了资源的可操作性例如为容器绑定Numa从而提升应用的稳定性根据应用等级为容器设置CPUShare从而调整调度权重为容器绑定CPUSet等等。 增强容器 我们打通并增强了业务对容器的配置能力支持业务给自己的容器扩展ulimit、io limit、pid limit、swap等参数的同时也增强容器之间的隔离能力。 应用原地升级 大家都知道Kubernetes默认只要Pod的关键信息有改动例如镜像信息就会出发Pod的重建和替换这在生产环境中代价是很大的一方面IP和HostName会发生改变另一方面频繁的重建也给集群管理带来了更多的压力甚至还可能导致无法调度成功。为了解决该问题我们打通了自上而下的应用原地升级功能即可以动态高效地修改应用的信息并能在原地宿主机进行升级。 镜像分发 镜像分发是影响容器扩容时长的一个重要环节我们采取了一系列手段来优化保证镜像分发效率高且稳定 跨Site同步保证服务器总能从就近的镜像仓库拉取到扩容用的镜像减少拉取时间降低跨Site带宽消耗。基础镜像预分发美团点评的基础镜像是构建业务镜像的公共镜像。业务镜像层是业务的应用代码通常比基础镜像小很多。在容器扩容的时候如果基础镜像已经在本地就只需要拉取业务镜像的部分可以明显的加快扩容速度。为达到这样的效果我们会把基础镜像事先分发到所有的服务器上。P2P镜像分发基础镜像预分发在有些场景会导致上千个服务器同时从镜像仓库拉取镜像对镜像仓库服务和带宽带来很大的压力。因此我们开发了镜像P2P分发的功能服务器不仅能从镜像仓库中拉取镜像还能从其他服务器上获取镜像的分片。资源管理与优化 优化关键技术 服务画像对应用的CPU、内存、网络、磁盘和网络 I/O 容量和负载画像了解应用的特征、资源规格和应用类型以及不同时间对资源的真实使用然后从服务角度和时间维度进行相关性分析从而进行整体调度和部署优化。亲和性和互斥性哪些应用放在一起使整体计算能力比较少而吞吐能力比较高它们就存在一定亲和性反之如果应用之间存在资源竞争或相互影响则它们之间就存在着互斥性。场景优先美团点评的业务大都是基本稳定的场景所以场景划分很有必要。例如一类业务对延迟非常敏感即使在高峰时刻也不允许有太多的资源竞争产生这种场景就要避免和减少资源竞争引起的延迟保证资源充足一类业务在有些时间段需要的CPU资源可能会突破配置的上限我们通过CPU Set化的方式让这类业务共享这部分资源以便能够突破申请规格的机器资源限制不仅服务能够获得更高的性能表现同时也把空闲的资源利用了起来资源使用率进一步提升。弹性伸缩应用部署做到流量预测、自动伸缩、基于规则的高低峰伸缩以及基于机器学习的伸缩机制。精细化资源调配基于资源共享和隔离技术做到了精细化的资源调度和分配例如Numa绑定、任务优先级、CPU Set化等等。策略优化 调度策略的主要作用在两方面一方面是按照既定策略部署目标机器二是能做到集群资源的排布最优。 亲和性有调用关系和依赖的应用或哪些应用放在一起能使整体计算能力比较少、吞吐能力比较高这些应用间就存在一定亲和性。我们的CPU Set化即是利用了对CPU的偏好构建应用的亲和性约束让不同CPU偏好的应用互补。互斥性跟亲和性相对主要是对有竞争关系或业务干扰的应用在调度时尽量分开部署。应用优先级应用优先级的划分是为我们解决资源竞争提供了前提。当前当容器发生资源竞争时我们无法决策究竟应该让谁获得资源当有了应用优先级的概念后我们可以做到在调度层限制单台宿主机上重要应用的个数减少单机的资源竞争也为单机底层解决资源竞争提供可能在宿主机层根据应用优先级分配资源保证重要应用的资源充足同时也可运行低优先级应用。打散性应用的打散主要是为了容灾在这里分为不同级别的打散。我们提供了不同级别的打散粒度包括宿主机、Tor、机房、Zone等等。隔离与独占这是一类特殊的应用必须是独立使用一台宿主机或虚拟机隔离环境部署例如搜索团队的业务。特殊资源特殊资源是满足某些业务对GPU、SSD、特殊网卡等特殊硬件需求。在线集群优化 在线集群资源的优化问题不像离线集群那样可以通过预知资源需求从而达到非常好的效果由于未来需求的未知性在线集群很难在资源排布上达到离线集群的效果。针对在线集群的问题我们从上层调度到底层的资源使用都采取了一系列的优化。 Numa绑定主要是解决业务侧反馈服务不稳定的问题通过绑定Numa将同一个应用的CPU和Memory绑定到最合适的Numa Node上减少跨Node访问的开销提升应用性能。CPU Set化将一组特性互补的应用绑定在同一组CPU上从而让他们能充分使用CPU资源。应用错峰基于服务画像数据为应用错开高峰减少资源竞争和相互干扰提升业务SLA。重调度资源排布优化用更少的资源提升业务性能和SLA解决碎片问题提升资源的分配率。干扰分析基于业务监控数据指标和容器信息判断哪些容器有异常提升业务SLA发现并处理异常应用。结束语 当前在以下几个方面我们正在积极探索 在线-离线业务混合部署进一步提升资源使用效率。智能化调度业务流量和资源使用感知调度提升服务SLA。高性能、强隔离和更安全的容器技术。作者简介 国梁美团点评基础研发平台集群调度中心高级工程师。 招聘信息 美团点评基础研发平台集群调度中心致力于打造高效的业界领先的集群管理与调度平台通过企业级集群管理平台建设业界领先的云化解决方案提高集群管理能力和稳定性同时降低IT成本加速公司的创新发展。同时随着Kubernetes已经成为业界的事实标准美团点评也在逐步拥抱社区参与开源并且在集群调度领域已经取得很大进展也期待和业界同仁一起努力共同提高集群管理和调度能力降低整个行业的IT成本协同创新发展。美团点评基础研发平台长期招聘集群管理与调度、弹性调度、Kubernetes以及Linux内核方面的人才有兴趣的同学可以发送简历到 techmeituan.com 。
