制作钓鱼网站,金泉网网站建设,响应式科技公司网站模板下载,优化方案模板3月21日#xff0c;在巴黎举办的云原生顶级峰会KubeCon EU 2024上 #xff0c;华为云首席架构师顾炯炯在“Cloud Native x AI#xff1a;以持续开源创新开启智能时代”的主题演讲中指出#xff0c;云原生和AI技术的融合#xff0c;是推动产业深刻变革的关键所在。华为云将…3月21日在巴黎举办的云原生顶级峰会KubeCon EU 2024上 华为云首席架构师顾炯炯在“Cloud Native x AI以持续开源创新开启智能时代”的主题演讲中指出云原生和AI技术的融合是推动产业深刻变革的关键所在。华为云将持续进行开源创新与开发者共启智能时代。 华为云首席架构师顾炯炯发表演讲
AI对于云原生范式提出关键挑战
在过去的几年里云原生彻底改变了传统的IT系统催化了互联网和政府服务等领域的数字飞跃。云原生范式带来的新的可能性例如闪电般的快速销售和基于微服务治理的敏捷应用DevOps已经深入人心。同时人工智能的快速发展和广泛采用包括大规模模型已经成为行业智能的跳动心脏。
根据Epoch 2023年的调研数据基础模型所需的计算能力每18个月就会增长10倍是摩尔定理揭示的通用计算能力增长率的5倍。AI带来的新摩尔定律和大规模AI模型的主导地位对云原生范式提出了挑战顾炯炯总结了其中关键的4点首先低GPU/NPU平均利用率导致AI训练和推理的高成本。其次大模型训练集群频繁的失败率限制了训练效率。第三大规模模型的复杂配置导致AI开发门槛高。第四大规模的AI推理部署面临着不可预测的最终用户访问延迟和数据隐私问题的风险。
华为云AI创新为开发者迎接挑战提供思路
随着AI模型变得越来越大对计算能力的需求也呈指数级增长。这种需求不仅给云原生技术带来了挑战也为业界提供了创新机遇。顾炯炯分享了一些华为云在AI创新方面的故事为开发者解决这些挑战提供了参考。
在云原生边缘计算平台KubeEdge的基础上华为云实现了一个云原生多机器人调度管理平台。用户可以通过自然语言命令在云端输入任务指令由系统协调边缘的多个机器人共同协作完成复杂任务。为了克服自然语言命令理解、大量机器人高效调度管理以及跨类型机器人访问管理的三个挑战该系统采用了云端、边缘节点和机器人三个部分的架构通过大模型执行自然语言命令并进行流量预测、任务分配和路由规划。这一架构显著提高了机器人平台的灵活性管理效率提升25%系统部署周期缩短30%新机器人的部署时间从月级缩短到天级。
中国某顶级内容分享社区每月活跃用户超过1亿。它的核心服务之一是主页上的推荐功能。推荐模型有近1000亿个参数。训练集群有数千个计算节点。一个训练作业需要数百个参数服务器和worker。因此该社区对最优拓扑调度、高性能、高吞吐量有着强烈的需求。开源项目Volcano可以更好地支持在Kubernetes上运行的AI/ML工作负载并提供了一系列作业管理和高级调度策略。Volcano项目引入了拓扑感知调度、装箱、SLA感知调度等算法帮助社区将整体训练性能提升了20%运维复杂度也大大降低。
Serverless AI引领云原生发展趋势
如何高效、稳定地运行AI应用同时降低运营成本成为摆在众多企业和开发者面前的一大挑战。为此华为云总结了云原生AI平台的关键要求提出了一种全新的云原生AI平台理念——Serverless AI。
顾炯炯提到从开发者的视角来看Serverless AI致力于智能地推荐并行策略让复杂的训练和推理任务变得轻而易举。它提供自适应的GPU/NPU自动扩展功能能够根据工作负载的实时变化动态调整资源分配确保任务的高效执行。同时Serverless AI还维护着一个无故障的GPU/NPU集群让开发者无需担心硬件故障带来的中断风险。更值得一提的是该平台保持与主流AI框架的兼容性让开发者能够无缝集成现有的AI工具和模型。
对于云服务提供商而言Serverless AI同样具有深远的意义。它不仅能够提高GPU/NPU的利用率使训练、推理和开发混合工作负载得以高效运行还能通过优化能效实现绿色计算降低能耗成本。此外Serverless AI平台还能实现跨多个租户的空间和时间GPU/NPU共享提高资源的复用率。最重要的是它为训练和推理任务提供了有保证的QoS和SLA确保了服务质量和稳定性。
分论坛上华为云技术专家提到Kubernetes 上运行 AI/ML 工作负载的使用量不断增加许多公司在分布于数据中心和各种 GPU 类型的多个 Kubernetes 集群上构建云原生 AI 平台。 使用Karmada和Volcano可轻松实现多集群的GPU工作负载智能调度、集群故障转移支持在保障集群内和跨集群的两级调度一致性和效率并平衡系统整体资源的利用率和不同优先级工作负载的 QoS以应对大规模、异构的 GPU 环境管理中面临的挑战。
Karmada为多云和混合云场景中的多集群应用管理提供即时可用的自动化管理越来越多的用户在生产环境中使用Karmada构建灵活高效的解决方案。Karmada已于2023年正式升级为CNCF孵化项目期待与更多伙伴与开发者们共建繁荣社区。
针对AI分布式训练和大数据场景Volcano Gang Scheduling解决了分布式训练任务中的无休止等待和死锁问题, 任务拓扑和IO感知的调度将分布式训练的传输延迟降至最低性能提升31%minResources解决了高并发场景下Spark driver和executor之间的资源竞争问题合理规划了并行度性能提升39.9%。
“云原生技术的敏捷性和异构AI计算平台的创新性将是提升AI生产力的关键。” 顾炯炯谈到未来华为云将持续致力于开源创新与业界同仁、伙伴共同开启智能时代的新篇章。
