网站更换服务器教程,最权威的公文写作网站,博州建设局网站,wordpress本地配置简介#xff1a; 今年双 11 首次规模化亮相的统一调度#xff0c;通过一套调度协议、一套系统架构#xff0c;统一管理底层的计算、存储、网络资源#xff0c;超大规模、高效率、自动化的资源弹性#xff0c;实现了业界新的突破。在离线混部、离在线混部、新的快上快下技术…简介 今年双 11 首次规模化亮相的统一调度通过一套调度协议、一套系统架构统一管理底层的计算、存储、网络资源超大规模、高效率、自动化的资源弹性实现了业界新的突破。在离线混部、离在线混部、新的快上快下技术减少数万台服务器采购带来数亿计的资源成本优化和大促效率提升。
01 背景
统一调度项目 1.0 成功支持 2021 年双 11 大促统一调度方案实现了从容器调度到快上快下全流程的全面升级和优化。项目组 100 多位核心成员成功走过了立项、POC、方案评审设计、封闭开发测试、大促冲刺各个阶段历经考验成功上线。
作为阿里巴巴的核心项目阿里云容器团队和大数据团队联合阿里巴巴资源效能团队、蚂蚁容器编排团队历时一年多研发和技术攻坚实现了从“混部技术”到今天“统一调度技术”的全面升级。
今天统一调度已实现阿里巴巴电商、搜推广、MaxCompute 大数据和蚂蚁业务的调度全面统一实现了 pod 调度和 task 高性能调度的统一实现了完整的资源视图统一和调度协同实现了多种复杂业务形态的混部和利用率提升全面支撑了全球数十个数据中心、数百万容器、数千万核的大规模资源调度。 云原生产品家族
02 统一调度技术全面升级
云计算的本质就是把小的计算碎片变成更大的资源池充分削峰填谷提供极致的能效比。对数据中心低碳节能、绿色环保、科技发展、更高效运转的追求下阿里巴巴对技术的探索永无止境。阿里的技术人有一个理想让数据中心的算力成为水、电、气一样的基础设施开箱即用。
为了让业务间峰谷互补的优势发挥到最大过去我们构建了混部技术打破多资源池的割裂不同计算领域的多调度大脑协同共用资源老一代的混部技术带来了资源的统一和利用率的巨大提升但多调度器的本质让我们的追求受限。
阿里巴巴持续追求构建可支撑更多复杂任务无差别混部、极致弹性互补、领先的新一代调度技术实现极致的全局最优调度提供更高质量的算力。今年我们在技术上到达一个新的临界点容器服务 ACK 牵头并协同众多团队启动了基于 ACK 的新一代统一调度项目。 容器产品家族
今年双 11 首次规模化亮相的统一调度通过一套调度协议、一套系统架构统一管理底层的计算、存储、网络资源超大规模、高效率、自动化的资源弹性实现了业界新的突破。在离线混部、离在线混部、新的快上快下技术减少数万台服务器采购带来数亿计的资源成本优化和大促效率提升。
今年首次引入大规模数据智能来进一步丰富调度能力提供了包括实时的负载感知自动规格推荐VPA差异化 SLO 工作负载编排CPU 归一化支持周期性预测的 HPA分时复用等提供了更多维度的成本优化技术和高可靠的容器运行时保障。
围绕着新一代的统一调度阿里巴巴电商、搜索、大数据等众多平台、不同类型的复杂计算资源都以一致的方式申请资源统筹的额度管理和资源规划数十万核资源借用秒级即可完成。基于统一调度阿里云与蚂蚁也实现了调度技术融合蚂蚁生态全面升级为统一调度。调度平台为未来带来更多想象空间例如我们可以通过众多手段例如价格杠杆等经济因素驱动阿里内部的业务更合理使用各个数据中心的资源确保数据中心全局资源水位尽可能平衡以改进数据中心的能效比。
阿里云容器服务 ACK 对标准 Kubernetes 进一步增强更高性能吞吐和更低的响应延迟构建稳定可靠的超大规模单集群能力平稳支撑了 1.2 万节点超 100 万核的超大规模集群、为统一调度大资源池化的生产运行提供了坚实的基座。阿里巴巴众多类型的复杂资源也实现了基于容器服务底座 ACK 的全面融合升级。
除电商、搜索、大数据等阿里经典场景外统一调度也极大的赋能了新型的技术创新。以直播电商场景为例决策对实时计算的需求很高比如薇娅双 11 直播间 9 千多万在线观看人数的产生的浏览、交易等实时数据的秒级数据分析。今年阿里将实时计算引擎 Blink 升级为基于统一调度的新一代引擎在成本、性能、稳定性以及用户体验上获得大幅提高大规模作业拉起性能相比 Yarn 提速 40%错误恢复效率提升 100%通过统一调度技术在双 11 大促备战接节省数十万 CPU在集群 CPU 水位超过 65% 时实现全局零热点保障了各直播推流的时效性。
在 Serverless 方面函数服务首次在集团内得到大规模落地并应用于双 11 支撑了淘宝搜索推荐、数据处理、前端 SSR 等 10 多个业务场景。借助统一调度技术函数计算可以和阿里资源池内实现大规模混跑充分利用集群的碎片资源彻底解决了 Serverless 场景在流量低峰期的资源闲置成本问题。基于 ACK 镜像按需加载和网络栈优化函数实例的冷启动时间小于 150ms并结合池化技术保证了函数计算容器的冷启动率小于 5%这是保证双 11 大促成功的关键。 03 未来展望
未来容器服务 ACK 将阿里巴巴统一调度的经验输出到整个行业支撑更多新型计算负载生态、新型技术形态的架构演进实现云计算无处不在全面赋能更多的企业释放更大的低碳价值红利。
原文链接 本文为阿里云原创内容未经允许不得转载。
