个人网站做企业备案,兰州优化网站推广,做单不能用什么网站,正规seo大概多少钱人工智能是数字经济的核心驱动力#xff0c;AI 大模型是人工智能的新引擎。近年来#xff0c;随着 ChatGPT 等生成式人工智能#xff08;AIGC#xff09;的突飞猛进#xff0c;业内领军企业竞相推出万亿、10 万亿参数量级别的大模型#xff0c;还对底层 GPU 支撑规模提出…人工智能是数字经济的核心驱动力AI 大模型是人工智能的新引擎。近年来随着 ChatGPT 等生成式人工智能AIGC的突飞猛进业内领军企业竞相推出万亿、10 万亿参数量级别的大模型还对底层 GPU 支撑规模提出了更高的要求达到了万卡级别。然而如何满足如此庞大规模的训练任务对网络的规模、性能、可靠性和稳定性等方面提出了前所未有的挑战。
一、AI大模型型对智算中心网络的需求 AI 应用计算量呈几何级数增长算法模型向巨量化发展当前 AI 超大模型的参数目前已经达到了千亿~万亿的级别。训练这样的模型毫无疑问需要超高算力。AI 超大模型训练使用GPU训练互联网络需求在100Gbps~400Gbps使用RDMA协议来减少传输时延可提升网络吞吐。 在 AI 大模型训练场景下机内与机外的集合通信操作将产生大量的通信数据量。流水线并行、数据并行及张量并行模式需要不同的通信操作这对于网络的单端口带宽、节点间的可用链路数量及网络总带宽提出了高要求。网络抖动会导致集合通信的效率变低从而影响到 AI 大模型的训练效率。因此在AI 大模型训练任务周期中维持网络的稳定高效是极其重要的目标这对网络运维带来了新的挑战。在数据通信传输过程中产生的网络时延由静态时延和动态时延两个部分构成其中真正对网络性能影响比较大的是动态时延。动态时延包含了交换机内部排队时延和丢包重传时延通常由网络拥塞和丢包引起。由于 AI 大模型训练中集群规模大这进一步增大了配置的复杂度。在庞大的架构和配置条件下业务人员能够简化配置部署有效保障整体业务效率。
AI 大模型对网络的需求主要体现在规模、带宽、时延以及稳定性等几个方面。从当前数据中心网络的实际能力来看完全匹配AI 大模型的需求在技术上仍然有一定的差距。 二、传统承载网络在AI算力网络的不足
随着大模型训练对于算力需求的不断提升智算GPU从千卡到万卡面对万卡以上的建设需求传统网络解决方案为三级CLOS架构通常让一台服务器配8块GPU卡对应的8张万卡连接到单个HB域中的8台Server Leaf上实现同一卡号GPU在一个Server Leaf上通信。同时为了确保高速转发每个层级要保证1:1无收敛以128端口盒式设备为例Server Leaf和Spine设备的端口分配为上下各64个端口Super Spine设备的128个端口全部用于下行接入基于这样的端口规划整体网络规模有8个HB域64个POD和64个Fabric网卡接入规模为32768。
可以直观的看到整体网络架构极为复杂不但网络建设成本高网络转发路径跳数多并且后续的运维和故障排障极其困难。 全Full Mesh网络成本高
跨 Leaf 交换机转发路径有 3 跳跨POD流量跳数更多极大的增加了业务时延网络结构复杂运维以及故障排查困难
以32768个GPU128端口交换机组网为例 CLOS层数3层 交换机需要1280台((6464)*8)256 光发射器数量196608 两层胖数架构三层胖数架构同GPU卡号转发条数1跳3跳不同GPU卡号转发条数无优化情况3跳 5跳
为了缩小技术上的差距星融元推出星智AI网络解决方案针对LLM大模型场景构建了一张大规模、低时延、大带宽、高稳定、自动化部署的AI承载网。
三、Asterfusion星智AI网络解决方案
1、方案介绍
与传统方案相比星智AI网络消除了跨GPU服务器不同GPU卡号之间的连接只保留了与GPU相连的Leaf层交换机将原本用于上连Spine的端口全部用于下连GPU进一步提高Leaf交换机连接效率并且这种网络架构仍然可以通过转发实现不同HB域之间的通信。
不同智算节点服务器间相同编号的网口需要连接到同一台交换机。如智算服务器 1 的 1 号 RDMA 网口智算服务器 2 的 1 号 RDMA 网口直到智算服务器 N 的 1 号 RDMA 网口都连到 1 号交换机。 在智算服务器内部上层通信库基于机内网络拓扑进行网络匹配让相同编号的 GPU 卡和相同编号的网口关联。这样相同GPU 编号的两台智算节点间仅一跳就可互通。 不同GPU编号的智算节点间借助NCCL通信库中的Rail Local技术可以充分利用主机内GPU间的NVSwitch的带宽将多机间的跨卡号互通转换为跨机间的同GPU卡号的互通。 星智AI网络解决方案轻松组建智算中心万卡网络满足用户智算中心网络建设需求的同时也避免了传统网络在智算中心的不足。
不影响性能的情况下网络架构精简极大的降低用户网络建设成本网络只需1跳减少业务时延网络结构简化降低运维以及故障排查难度
以32768个GPU128端口交换机组网为例 CLOS层数1层Rail Only 交换机需要256台 光发射器数量65536 网络成本最大可降低75% 2、方案优势
性能提升①提升单机网络带宽
1增加网卡的数量初期业务量少可以考虑CPU和GPU共用后期给CPU准备单独的1到2张网卡给GPU准备4或8张网卡 2提升单机网卡带宽同时需要匹配主机PCIe带宽和网络交换机的带宽
网卡速率40G100G200G400GPCIe3.0*83.0*164.0*164.0或5.0*16交换机Serdes4*10G4*25G4*50G8*50G
性能提升②应用RDMA网络RoCE
1借助RDMA技术减少了GPU通信过程中的数据复制次数优化通信路径降低通信时延 2通过Easy RoCE技术一键下发过去比较复杂的RoCE相关配置PFC、ECN等有效帮助用户降低运维复杂度
性能提升③减少网络拥塞
1减少网络测时延提高GPU使用效率超低时延~400ns 2通过DCB协议组减少网络拥塞PFC、PFC WatchDog、ECN构建全以太网零丢包低时延网络 随着 ChatGPT、Copilot、文心一言等大模型应用的横空出世AI 大模型下的智算中心网络也将带来全新的升级。星融元持续投入研发星智AI网络解决方案在一次次客户实地检测中得到认可。我们将与AI厂商通力合作逐步推动AI 大模型下的智算中心网络关键技术的成熟与落地针对用户场景我们不断追求更加美好的解决方案期盼与众多合作伙伴共同打造大规模、高带宽、高性能、低时延以及智能化的 AI 大模型智算中心网络。
背景内容参考中国移动研究院《面向AI 大模型的智算中心网络演进白皮书2023 年》
关注vx公号“星融元Asterfusion”获取更多技术分享和最新产品动态。
