只做女性的网站,广东网站建设公司哪家好,绍兴建站服务,免费空间申请网址Meta#xff0c;这家全球科技巨头#xff0c;再次以其在人工智能#xff08;AI#xff09;领域的雄心壮志震惊了世界。3月13日#xff0c;公司在其官方网站上宣布了两个全新的24K H100 GPU集群#xff0c;这些集群专为训练其大型模型Llama-3而设计#xff0c;总计拥有高…Meta这家全球科技巨头再次以其在人工智能AI领域的雄心壮志震惊了世界。3月13日公司在其官方网站上宣布了两个全新的24K H100 GPU集群这些集群专为训练其大型模型Llama-3而设计总计拥有高达49,152个GPU。 这一举措标志着Meta在加速通用人工智能AGI进程方面的最新进展。Llama-3预计将在4月末或5月中旬上线受到Sora模型的影响它很可能是一个多模态模型并且将继续开源。Meta的首席科学家已经确认了这一消息。 据悉到2024年底Meta预计将拥有高达600,000个H100 GPU的算力。这一雄心勃勃的计划建立在Meta早期的成功基础之上该公司在2022年1月首次公布了其AI研究超级集群RSC该集群配备了16,000个英伟达A100 GPU并在开发全球最受欢迎的类ChatGPT模型Llama和Llama 2中发挥了重要作用。 Llama-3的训练设施不仅包括了强大的GPU集群还采用了RoCEv2网络和基于Tectonic/Hammerspace的NFS/FUSE网络存储。这些技术的应用加上PyTorch机器学习库的支持使得Llama-3能够处理前所未有的复杂性和参数规模。 Meta的数据中心网络设计同样令人印象深刻。公司每天需要处理数百万亿次AI模型的请求因此采用了高效、灵活的网络以确保数据中心的安全和稳定运行。Meta的两个集群分别采用了Arista7800、Wedge400和Minipack2 OCP机架交换机构建的RoCE网络结构以及NVIDIA Quantum2 InfiniBand结构两者都能互连400 Gbps端点。 硬件平台方面新增的集群全部使用了Meta内部设计的Grand Teton这是一个开放性的GPU硬件平台它将电源、控制、计算和结构接口集成到一个机箱中以提高整体性能和散热效率。 数据存储需求随着大模型功能的增加而迅速增长。Meta的新集群通过自创的用户空间Linux文件系统API来满足人工智能集群的数据和检查点需求。这一API由Meta针对闪存媒体优化的Tectonic分布式存储解决方案提供支持使得数千个GPU能够同步保存和加载检查点同时提供高吞吐量的外字节级存储。 此外Meta与Hammerspace的合作进一步强化了其存储能力使得工程师能够使用数千个GPU对作业进行交互式调试因为环境中的所有节点都能立即访问代码更改。 随着Llama-3的即将发布Meta再次证明了其在AI领域的领导地位。这家公司不仅在技术上不断创新还在推动开源文化致力于构建一个能够造福全人类的AGI。随着Llama-3的上线我们期待看到一个更加智能、多模态的AI模型它将如何改变我们的生活和工作方式。
