湖南定制响应式网站有哪些,大型网站建设基本流程,四川省第十一公司,网站建设与管理 宋一兵如果把科技圈比作娱乐圈#xff0c;那么这两年的顶流一定是AI。2023年#xff0c;世人见证了ChatGPT在全球范围内的大火#xff0c;以生成式AI为代表的新一轮人工智能应用问世#xff0c;改变了人工智能#xff08;AI#xff09;技术与应用的发展轨迹#xff0c;并开始在…
如果把科技圈比作娱乐圈那么这两年的顶流一定是AI。2023年世人见证了ChatGPT在全球范围内的大火以生成式AI为代表的新一轮人工智能应用问世改变了人工智能AI技术与应用的发展轨迹并开始在各行各业中得到广泛应用。全球多个调研机构的调研结果都显示有接近58%的企业都有意在未来几年将生成式AI导入到自身的业务当中预计到2026年全球将会有超过3000亿美金投入到生成式AI当中包括硬件、软件和解决方案等其中有多达50%以上的边缘应用也会采用AI技术。AI领域的发展离不开强劲的算力在过去几年人们普遍认为包含大量高强度并行计算任务的AI计算理所应当应该让擅长图形处理的GPU来做但众所周知AI计算包括推理和训练两部分虽然GPU在训练方面的优势很大但在推理环节GPU实际上也并非“唯一解”负责执行各种程序指令处理各种逻辑和算法的CPU实际上也能在AI计算中发挥极大的作用。例如英特尔在去年年底推出的第五代至强可扩展处理器就是一款具备强劲AI性能的CPU产品。通过更多的核心数64核心、更大的内存带宽5600MT/s、更大的三级缓存320MB以及软件生态方面的优化与上一代相比第五代至强可扩展处理器在相同功耗下的平均性能提升了21%在AI推理和训练性能的提升则达到了42%和29%。 “无论是英特尔内部的实验结果还是来自客户的反馈都验证了第五代至强在AI计算上的能力像一些通用的应用如会议纪要提取、大纲总结、内容分析以及一些内容创作尤其是大家讨论的比较多的文生图、机器人聊天客服、代码撰写等生产力提升的应用中基于第五代至强的服务器的结果还是比较有优势的因此我们也非常有信心能够满足这一类生成式AI模型的工作负载需求。”英特尔市场营销集团副总裁、中国区数据中心销售总经理兼中国区运营商销售总经理庄秉翰总结道。之所以能在AI计算能力有如此惊人的突破主要还是源于第五代至强可扩展处理器在硬件架构方面的改进和软件生态方面的优化。其中在硬件架构方面第五代至强可扩展处理器在制程、芯片布局、性能能效、三级缓存和内存IO方面都有不少改进。具体来说在制程方面第五代至强基于Intel7制程同时采用Dual-poly-pitchSuperFin晶体管技术与第四代至强相比第五代至强在系统漏电流控制和动态电容等关键技术指标上做了改进通过这些调整第五代至强在同等功耗下的频率提升了3%。 在芯片布局方面随着算力需求的上升单个芯片的核心数、IO也不可避免地需要增加这些都在推动芯片面积的增加因此也带来了两个问题其一是芯片的良品率无法保证其二是单片面积过大会超过光刻机的尺寸限制所以现在主流的芯片设计都是将大的CPU芯片切分成多个子芯片然后采用多芯片的方式封装到一个芯片上。例如第四代至强就将芯片切分为互相对称的四部分而第五代至强在芯片设计上采用了2芯片封装的方法不仅良率得到了提升而且也可以更好地控制芯片面积。在关键性能指标方面第五代至强的核心升级为Raptor Cove核心数增加到了64LLC增加到了5MBDDR速度提升到了5600MT/sUPI速度提升到了20GT/s此外通过第五代至强内置的全集成供电模块以及增强的主动空闲模式有效降低了CPU在非满载情况下的能耗从而更好地提高数据中心的供电有效性。根据SPEC integer的结果第五代至强的整数计算性能提升了21%而针对AI负载的性能提升则达到了42%。由于第五代至强单个模块的LLC容量达到了5MB因此整体的缓存大小达到了320MB所以在数据集不大的情况下大部分的数据都能放在LLC缓存中从而减少对内存的访问以带来更高的性能。不过更大的缓存也会带来可靠性的问题为此第五代至强的LLC中新增了DEC和TED的编码方式相较于单位纠错和两位纠错的纠错能力更强因此使得系统的容错性更高。最后在内存IO方面英特尔通过MIM内存优化、基板走线优化、片上低噪声供电优化等方式将第五代至强的IO速度提升到了5600MT/s。除了在底层硬件架构上的改进之外英特尔在软件解决方案方面的能力也有目共睹为了能让第五代至强的硬件能力更好地转化为用户价值英特尔也投入了诸多资源例如加速数据库处理、数据安全保障以及虚拟化技术的优化等等。针对AI能力方面英特尔的软件团队多年来一直在基于x86架构进行持续优化除了对TensorFlow、PyTorch这类主流开源机器学习框架早早实现支持以外随着第五代至强的发布英特尔也向社区上传了300多个深度学习模型支持50多个面向第五代至强优化过的模型都可以供开发者调用。而Intel开发的深度学习工具库OpenVINO则能用于优化深度学习在各类芯片上的表现对于大语言模型英特尔则开发了很多高性能库例如可以大幅提升单机性能的oneDNN和能够提供集群式运算能力的oneCLL有了oneDNN和oneCCL的加持第五代至强也随之具备了大模型推理的能力此外英特尔也对虚拟化层、云原生层和OSKernel层给予了很多的资源让最新的技术能适配最新的软件栈。从英特尔技术专家的介绍中得知从横向延迟的角度来看100ms是客户业务的阈值大于100ms时业务体验会比较差根据英特尔的测试数据如果卡在100ms的标准上一颗第四代或第五代英特尔至强可扩展处理器可以支持13B参数的模型。两颗可以做到30B参数的模型如果想要更短的延迟只要把模型缩小就可以而对于6B或者是7B参数的模型一颗第四代英特尔至强可扩展处理器可以做到60ms。如果企业选择部署具备高带宽内存的至强Max系列CPU部署数量可以进一步减少例如想要进行300亿参数的模型推理同时控制延时在100ms以内的话需要两台基于第四代或者第五代至强的两路服务器但如果采用基于至强Max的方案只需一台两路服务器即可。在实际落地中英特尔就与百度使用四台基于第五代英特尔至强可扩展处理器的双路服务器一共8颗第五代至强芯片实现了对70B参数模型的支持服务器之间的互连则采用oneCCL和RDMA网络并将延迟控制在了100ms以内充分证明了GPU并非大模型的唯一选择CPU也有能力做同样的事。而为了让广大的AI开发者能够更好更快地在至强的服务器上部署自身的AI应用英特尔也和百度千帆进行了深度合作在选择了可以支持的大模型之后如果想进行部署系统会提示可以选择AI加速卡或者CPU使开发人员可以尝试把大语言模型部署在至强处理器上且不用担心操作问题。最后在产品更新层面随着不断变化的AI需求英特尔也会针对不同的工作负载推出更加具有针对性的至强产品例如预计将于今年推出的更高能效的Sierra Forest以及针对计算密集型和AI工作负载进行优化的性能核产品Granite Rapids从而为万物智能、万物互联的智能世界打好坚实的算力基础。
