网页打不开建设银行网站,深圳集团网站建设报价,在百度网站备案查询上显示未备案是什么意思,wordpress标签说明作者#xff1a;胡玉瑜(稚柳)
前言
在过去几年中#xff0c;人工智能技术取得了突飞猛进的发展#xff0c;涵盖了机器学习、深度学习和神经网络等关键技术的重大突破#xff0c;这使得人工智能在各个领域都得到广泛应用#xff0c;对各行各业产生了深远的影响。
特别值…作者胡玉瑜(稚柳)
前言
在过去几年中人工智能技术取得了突飞猛进的发展涵盖了机器学习、深度学习和神经网络等关键技术的重大突破这使得人工智能在各个领域都得到广泛应用对各行各业产生了深远的影响。
特别值得一提的是近年来ChatGPT 的快速发展使得人工智能技术在自然语言处理和对话生成方面取得了显著进展让人工智能进一步走进人们的日常生活改变我们的生活和工作方式。
随着人工智能技术的快速发展和应用AI 工程化作为“人工智能业务创新的加速器”也在不断地升级和演进。 为了满足日益增长的算力需求、更高的业务稳定性要求以及更快的创新和迭代交付越来越多企业选择在云上开发、训练和部署 AI 模型利用云计算的优势获取稳定、弹性的大规模异构算力从而提高算法迭代和应用落地的效率并提升规模化服务的可靠性。
同时云原生技术和架构如容器、Kubernetes、服务网格和 Serverless 等也被广泛应用于支持 AI、大数据等多种工作负载类型以及构建多角色协同的 AI 生产系统进一步增强了 AI 工程化的弹性、可扩展性和灵活性。 随着越来越多的企业在容器服务 ACK 上构建 AI 系统和应用无论是 ACK 集群和 AI 平台的运维人员还是使用容器技术调试和运行深度学习任务的算法工程师他们都在享受云原生技术和架构带来的便利和高效的同时仍然面临着持续的运维成本和生产效率的挑战。
因此为了帮助客户更轻松、高效地在容器服务 ACK 上构建 AI 系统并提升 AI 生产效率我们推出了容器服务 ACK 云原生 AI 套件。
旨在利用云原生的技术和架构为客户提供一个全面的云原生 AI 技术和产品方案能够帮助客户在容器服务 ACK 上快速、定制化构建 AI 生产系统并持续优化异构资源效率、高效运行异构负载。 让客户的 AI 工程化落地更加快速和有效从而提升企业的竞争力和创新能力。 什么是云原生 AI 套件
那云原生 AI 套件是以什么样的形态提供给客户的适合什么样的客户场景又具有哪些能力优势呢
首先我们看下云原生 AI 套件的产品形态如何把云原生 AI 的能力提供给客户
云原生 AI 套件通过多个可组装、可扩展、可定制的组件来提供云原生 AI 能力。以 Kubernetes 容器服务为底座向下封装对各类异构资源的统一管理向上提供标准 Kubernetes 集群环境和 API运行各个核心组件。并结合容器镜像服务以及可观测、智能诊断、弹性伸缩等容器服务相关能力提供更加全面的产品方案。
云原生 AI 套件的核心组件能力包括四大分层模块以满足企业客户不同角色、不同架构层级的场景需求。从下往上依次是异构算力管理、AI 任务管理、AI 数据加速、AI 工程管理。
云原生 AI 工程化的第一步就是搭建一个 K8s 集群管理云上的异构算力因此第一层就是异构算力管理模块包括对异构资源的管理运维、弹性伸缩以及调度与共享。
有了异构计算集群算法工程师就可以开始提交 AI 作业通过 K8s 集群的标准接口访问存储服务以及进行 AI 作业调度和 GPU 资源分配最后训练好的模型部署在集群中这样基本实现了 AI 开发和生产流程。因此往上一层是 AI 任务管理包括对 AI 任务的提交运行、调度与弹性。
紧接着企业对生产效率有了更高要求也遇到更多问题。包括训练数据访问慢缺少数据集、模型管理模型发布缺乏质量和性能验证上线后缺少服务化运维和治理手段以及团队协作效率低下Kubernetes 和容器对于算法工程师和数据科学家有一定使用门槛等等。
因此往上就 AI 数据加速和 AI 工程管理。AI 数据加速包括数据集的抽象和管理、数据的访问加速、数据集的编排等等。AI 工程管理包括命令行工具和 SDK、AI 开发和运维控制台以及 MLOps 或者 LLMOps 的优化。客户可以根据具体需求选择不同的组件进行使用快速、定制化构建自己的 AI 平台或者直接使用云原生 AI 套件集成的阿里云 AI 平台和服务从而全栈优化 AI 生产系统的性能、效率和成本。
使用云原生 AI 套件可以实现 GPU 利用率提升 100%数据访问效率提升 30%AI 训练速度提升 20%。 那接下来我们具体看一下四大分层能力模块分别具备哪些优势特性如何满足不同角色、不同架构层级、不同业务阶段的需求。
还是以从下往上的顺序来看让我们看一下异构算力管理模块我们基于容器服务 ACK 提供了资源的管理运维和弹性伸缩能够支持 CPU、GPU、vGPU、NPU、FPGA 等异构资源的统一接入、监控、诊断和成本分析帮助运维人员降低管理大规模 GPU 的复杂度以及提供智能的削峰填谷减少资源浪费。云原生 AI 套件还提供了资源调度与共享功能包括 CPU/GPU 拓扑感知调度和 GPU 共享调度与隔离。CPU/GPU 拓扑感知调度基于节点异构资源的拓扑信息如 GPU 卡之间的 NVLink、PcleSwitch 等通信方式以及 CPU 的 NUMA 拓扑结构等在集群维度进行最佳的调度选择为工作负载提供更好的性能。GPU 共享调度与隔离能够实现一个 GPU 供多个任务使用同时也能够实现一个 GPU 上对各应用申请的显存进行隔离以及 GPU 的算力分割从而提升 GPU 的资源利用率。
接着看一下 AI 任务管理模块云原生 AI 套件兼容主流 AI 框架和工具包括 tensorflow、pytorch、JupyterLab、TF-Serving、Triton 等等也在不断的适配新的分布式训练和推理的框架如 deepspeed、fasttransformer 等等能够用统一的方式提交和管理任务。同时支持集成 Kubeflow Pipelines 或 Argo 云原生工作流引擎为复杂的 AI 任务提供工作流编排服务。AI 任务管理模块还提供多种调度策略适用于各种典型的批量任务类型如 AI 分布式训练。通过 ACK 调度器扩展 Kubernetes 原生调度框架实现多种典型批量调度策略包括 Gang Scheduling、Capacity Scheduling、Fair sharing、Binpack/Spread 等以满足不同任务的调度需求。还支持任务队列提供自定义的任务优先级管理和租户弹性资源配额控制提高任务调度和资源利用的效率。此外还支持弹性训练和推理任务以提升任务运行的效率和优化成本。
再看一下 AI 数据加速模块该模块主要通过面向云原生数据密集型应用的数据编排框架 Fluid 来支持。Fluid 提出弹性数据集的概念将不同位置和类型的存储服务作为数据源聚合到同一数据集中以实现数据的统一管理。Fluid 支持多种分布式缓存引擎包括阿里云 JindoRuntime、EFCRuntime以及开源社区提供的 AlluxioRuntime、JuiceFSRuntime同时还可以通过对接 Fluid 的标准接口来扩展第三方或者自建的存储系统。结合 Fluid 提供数据集缓存预热以及缓存数据的容量监控和弹性伸缩等功能来降低计算任务拉取数据的开销提升 GPU 计算效率。Fluid 还支持 Serverless 数据访问加速实现数据访问吞吐的弹性扩容以及混合云数据访问加速在弹性上云的同时能够安全、快速地访问自建存储。Fluid 还支持应用协同编排和自动化数据流等功能让用户在云上使用数据的过程更加简单化和自动化。
最后是 AI 工程管理模块除了提供 Arena 命令行工具和 SDK来屏蔽底层复杂性简化任务管理之外还提供简单的运维大盘和开发控制台满足用户快速浏览集群状态、提交和查看任务的需要。同时云原生 AI 套件致力于持续优化 AI 生产效率和体验并且全面拥抱大模型生态支持 MLOps、LLMOps 等相关领域的需求。 通过前面的介绍相信您已经基本了解了云原生 AI 套件接下来让我们一起看两个典型的客户案例吧
客户案例
第一个是任意门 基于云原生 AI 套件打造人工智能社交网络平台的案例。
任意门的 SoulAPP 是基于兴趣图谱和游戏化玩法构建的移动社交网络有丰富的 AI 业务场景包括语音匹配、聊天机器人、文本识别、图像识别、多模态等。
但在传统的虚拟机构建部署方式下缺乏一个统一的管控平台导致
业务迭代速度慢研发工程师需要花费大量时间在底层资源和环境的准备、管理和运维上无法专注于业务开发。运维工作重复需要做很多重复的环境配置和问题处理人力投入大运维效率低。资源性价比低有大量堆积机器且资源利用率低导致资源闲置浪费。
任意门在阿里云上通过容器服务 ACK 云原生AI 套件构建了符合开源标准、自主掌控的 AI PaaS 平台管理了从初期的数十张 GPU 卡到近千张的超大规模节省 1 倍运维成本。并且开发迭代效率提升 2~5 倍日承载 AI 业务发布数百次很好地支撑了业务的高速发展。通过 GPU 共享及 Fluid 数据加速能力提升业务效能资源成本节约 50%。 第二个案例是小米机器学习平台 基于 Fluid 的 Serverless 混合云容器 AI 平台。
小米机器学习平台CloudML承载了图像、NLP、声学、搜索推荐等应用业务是小米针对机器学习进行全流程优化的高性能、分布式云服务。
支撑 CloudML 的自建集群由于资源池容量、资源弹性能力相对有限导致业务低谷时资源闲置成本高业务高峰时资源紧张。迁移到基于 Serverless 容器架构的混合云之后获得了 Serverless 容器带来的敏捷、安全、弹性、低成本等优势然而也遇到了几个重要的技术挑战
无法定制扩展存储类型公有云集群只支持阿里云存储类型如 NAS、OSS等无法直接适配内部自研的分布式文件存储StarFS。缺乏可信透明的数据接入方式如何在 Serverless 容器的黑盒系统使用过程中规避数据泄露如何确保数据存储、传输、访问过程中安全可靠缺乏对应的解决方案。基础设施差异导致用户体验不一致混合云场景中当用户任务在公有云和自建集群之间进行迁移时用户使用体验需要与自建集群上保持一致不需要做过多的变更。
通过阿里云 ACK 云原生 AI 套件中提供的 Fluid 存储系统接入方案可以很好的解决以上问题
首先对于自建存储 StarFS 的访问提供了很好的扩展支持并且得益于 Fluid 提供的数据集可观测性功能能够获取云上工作负载的数据访问特性从而支持数据热加载和资源分配调优。
其次方案接入简单、管理便捷。可以自行完成 StarFS 与 Kubernetes 环境的对接工作整个 thinRuntime开发简单无需具备复杂的 Kubernetes 定制开发知识。
基于这套方案只需要了解 Dockerfile 构建就可以完成开发工作 2-3 小时左右显著降低了使用 ECI 接入 StarFS 的工作成本。 了解了云原生 AI 套件的能力优势和客户案例如果您的业务也有类似的需求那接下来我们就介绍一下云原生 AI 套件怎么用并且会提供一些有趣的实验让您快速上手。
云原生 AI 套件用法
云原生 AI 套件通常存在两类用户角色运维管理员主要负责搭建 AI 基础架构和日常管理而数据科学家和算法工程师则使用云原生 AI 套件提交和管理任务。
这两类角色可以通过命令行工具和控制台进行高效的操作和协同。
首先运维管理员需要先创建和配置 ACK 集群以及相关的资源和服务并添加异构资源进行管理和运维。接着进行系统与环境搭建包括开通和安装云原生 AI 套件管理用户和配额准备数据等工作。完成这些准备工作后算法工程师和数据科学家就可以开始使用云原生 AI 套件提供的命令行工具 Arena 或 AI 套件开发控制台进行模型的开发、训练与部署利用调度、弹性、数据访问加速等能力提高 AI 生产效率和性能以及进行推理的服务化运维。运维管理员则可以通过运维控制台查看集群、节点、训练任务、资源配额、成本分析等监控大盘从而对集群进行实时监控和管理。
这种高效协同的工作模式能够提高生产效率优化资源利用和管理。 如果您想先从部分简单的功能入手快速入门云原生 AI 套件我们为您准备了低门槛、低成本的保姆级实验教程让您通过简单有趣的小场景感受云原生 AI 套件加速 AI 工程化的过程。
关于费用呢云原生 AI 套件是按量计费先试用后付费。
使用云原生 AI 套件所产生费用 云原生 AI 套件费用 ACK 费用 其他云产品费用
云原生 AI 套件采用阶梯型计费方式若 GPU 卡数当日最大值不超过 8 张云原生 AI 套件本身免费。
如果您希望全面、深入地了解云原生 AI 套件的更多能力我们还为您提供了云原生 AI 工程化实践系列课程这些课程将帮助您上手云原生 AI 套件的更多功能和最佳实践让您能够更好地应用于实际项目中。
除了课程我们还为您提供了交流群您可以与我们进行互动和交流。在交流群中您可以及时了解云原生 AI 套件的产品动态探讨云原生 AI 最新的技术发展。同时我们也将根据您的业务场景为您提供更加针对性的解决方案和服务支持。
实验 1云原生 AI 套件五分钟微调宝可梦风格 StableDiffusion [ 1]
实验 2云原生 AI 套件一键训练大模型及部署 GPU 共享推理服务 [ 2]
更多实验请见云原生 AI 工程化实践系列课 [ 3] 希望您能够持续关注云原生 AI 套件让我们帮助您以云原生的技术和架构加速 AI 工程化落地提高 AI 生产效率并优化成本同时我们也将不断发掘云原生 AI 的技术和应用为您提供更加丰富的产品能力更加优质的服务和体验。欢迎使用钉钉通过搜索群码的方式与我们一起沟通。钉钉群号33214567
相关链接
[1] 云原生 AI 套件五分钟微调宝可梦风格 StableDiffusion
https://developer.aliyun.com/adc/scenario/5d4b9f5be5104302b9c4ca2fd1a4755e
[2] 云原生 AI 套件一键训练大模型及部署 GPU 共享推理服务
https://developer.aliyun.com/adc/scenario/99e00d4dea0e4fbf952780b30136209d
[3] 云原生 AI 工程化实践系列课
https://developer.aliyun.com/adc/scenarioSeries/e5427732f6e94cde939a7aeed1d19180
