美食网站建设设计方案,织梦网站名称标签,最好的做网站,深圳物流公司查询大全选择正确的高带宽内存
构建高性能芯片的选择越来越多#xff0c;但附加内存的选择却几乎没有变化。为了在汽车、消费和超大规模计算中实现最大性能#xff0c;选择取决于一种或多种 DRAM#xff0c;而最大的权衡是成本与速度。
尽管多年来人们一直在努力用更快、更便宜或更…
选择正确的高带宽内存
构建高性能芯片的选择越来越多但附加内存的选择却几乎没有变化。为了在汽车、消费和超大规模计算中实现最大性能选择取决于一种或多种 DRAM而最大的权衡是成本与速度。
尽管多年来人们一直在努力用更快、更便宜或更通用的内存来取代 DRAM甚至将其嵌入到 SoC 中但 DRAM 仍然是所有这些架构中的重要组成部分。但 DRAM 制造商并没有停滞不前而是根据性能、功耗和成本提供了多种选择。这些仍然是基本的权衡要进行这些权衡需要深入了解如何使用内存、如何连接所有部件以及芯片或使用芯片的系统的关键属性是什么。
Rambus产品管理高级总监 Frank Ferro 表示“即使在宏观经济形势下我们仍然看到对更多带宽内存的需求呈非常积极的趋势。 ” “有很多公司正在研究不同类型的内存架构。这包括解决带宽问题的各种方法无论是具有大量片上内存的处理器还是其他方式。虽然这种方法是最便宜、最快的但容量相当低因此人工智能算法必须针对这种类型的架构进行定制。”
小芯片
这仍然没有减少对附加内存的需求。总体而言向异构计算尤其是小芯片的发展只会加速对高带宽内存无论是 HBM、GDDR6 还是 LPDDR6的需求。
HBM 是三者中最快的。但到目前为止HBM 一直基于 2.5D 架构这限制了它的吸引力。“制作 2.5D 中介层仍然是相对昂贵的技术”Ferro 说。“供应链问题并没有太大帮助。在过去的两年里这种情况有所缓解但它确实凸显了您在制作这些复杂的 2.5D 系统时的一些问题因为您必须组合大量组件和基板。如果其中任何一件不可用就会扰乱整个流程或导致较长的交货时间。”
一段时间以来人们一直致力于将 HBM 连接到其他一些封装方法例如扇出或使用不同类型的中介层或桥来堆叠芯片。随着更前沿的设计包括某种类型的先进封装以及可能在不同工艺节点开发的异构组件这些将变得至关重要。
“许多 HBM 空间实际上更多的是制造问题而不是 IP 问题” Cadence IP 小组产品营销小组总监 Marc Greenberg 说。“当您拥有一个内部带有硅中介层的系统时您需要弄清楚如何构建一个带有硅中介层的系统。首先您将如何在那里制造硅中介层它比普通硅芯片大得多。它必须被稀释。它必须粘合到其上的各种芯片上。它需要被包装。HBM 解决方案涉及大量专业制造。这最终超出了 IP 领域更多地属于 ASIC 供应商和 OSAT 所做的领域。”
汽车中的高带宽内存
HBM 引起广泛关注的领域之一是汽车领域。但仍有一些障碍需要克服而且目前还没有解决这些问题的时间表。
Synopsys产品营销总监 Brett Murdock 表示“HBM3 具有高带宽、低功耗的特点并且具有良好的密度。” “唯一的问题是它很贵。这是那段记忆的一个失败。HBM 的另一个缺点是它尚不符合汽车行业的要求尽管它非常适合汽车行业。在汽车领域正在发生的一件有趣的事情是所有电子设备都变得集中化。当这种集中化发生时基本上现在你的后备箱里就有了一台服务器。发生的事情如此之多因此不一定总是发生在单个 SoC 或单个 ASIC 上。因此现在汽车公司开始研究小芯片以及如何在设计中使用小芯片以获得该集中式域中所需的所有计算能力。巧妙的是小芯片的潜在用途之一是与中介层一起使用。如果他们现在使用中介层他们就无法解决 HBM 的中介层问题。他们正在解决小芯片的中介层问题也许 HBM 也能参与其中。然后如果他们已经在为车辆进行小芯片设计也许它就不再那么昂贵了。”
HBM 非常适合该领域因为车辆中需要快速移动的数据量很大。“如果你考虑一下汽车中摄像头的数量所有这些摄像头的数据速率以及处理所有信息的速度都是天文数字。HBM 是所有汽车行业人士都想去的地方。”Murdock 说道。“对于他们来说成本可能并没有那么高因为它只是解决技术、解决汽车内插器以及解决 HBM 设备的汽车温度问题。
不过这可能需要一段时间。与此同时GDDR 似乎是后起之秀。虽然它的吞吐量比 HBM 更有限但它仍然足以满足许多应用的需求并且已经符合汽车标准。
Rambus 的 Ferro 表示“HBM 绝对会进入汽车应用领域在汽车领域汽车可以与不动的物体进行对话。” “但在车辆方面GDDR 做得很好。LPDDR 已经出现在汽车中您可以用 GDDR 替换大量 LPDDR获得更小的占用空间和更高的带宽。然后随着人工智能处理能力的提高LPDDR5 和 LPDDR6 开始达到相当可观的速度现在分别接近 8Gbps 和 10Gbps它们也将成为汽车中非常可行的解决方案。仍然会有少量 DDR但 LPDDR 和 GDDR 将成为汽车领域最受欢迎的技术。”
Cadence 的 Greenberg 表示这种方法可能会在相当长的一段时间内发挥作用。“仅使用标准 PCB 和标准制造技术的解决方案似乎比尝试在方程中引入硅中介层并验证其温度、振动或 10 年寿命更明智。寿命。试图验证车辆中的 HBM 解决方案似乎比 GDDR-6 面临更大的挑战GDDR-6 可以将内存放置在 PCB 上。如果我在一家汽车公司负责一些汽车项目我只会选择HBM作为最后的选择。”
边缘 AI/ML 内存需要
GDDR 和 LPDDR5甚至可能是 LPDDR6在某些边缘加速卡上也开始看起来像是可行的解决方案。
“对于进行边缘 AI 推理的 PCIe 卡多年来我们已经在 NVIDIA 等公司的加速卡中看到了 GDDR”Ferro 说。“现在我们看到越来越多的公司愿意考虑替代方案。例如Achronix 在其加速卡中使用 GDDR6并开始研究如何使用 LPDDR尽管速度仍约为 GDDR 的一半。它正在缓慢上升并且密度增加了一些。这是另一个解决方案。这些给出了一个很好的权衡。它们提供了性能和成本优势因为它们仍然使用传统的 PCB。您将它们焊接在芯片上。如果您过去使用过 DDR则可以丢弃大量 DDR并用一个 GDPR 或两个 LPDDR 替换它们。这就是我们现在看到的很多情况因为开发人员试图找出如何在成本、功耗和价格之间达到适当的平衡。这始终是一个边缘挑战。”
一如既往权衡是许多因素的平衡。
格林伯格指出在当前人工智能革命的早期阶段第一批 HBM 存储器正在被使用。“人们采用了一种不考虑成本/不考虑带宽的方法。HBM 非常自然地融入其中有人希望有一个典型的例子来说明他们可以从系统中获得多少带宽。他们将构建基于 HBM 的芯片根据该芯片的性能指标获得风险投资资金而且没有人真正太担心这一切的成本是多少。现在我们看到的是也许您需要一些好的指标也许是使用 HBM 可以实现的 75%但您希望它的成本只有一半。我们该怎么做呢我们所看到的 GDDR 的吸引力在于它可以实现成本更低的解决方案但带宽绝对接近 HBM 空间。”
Murdock 也看到了做出正确内存选择的困难。“由于带宽要求较高他们通常会做出成本权衡决定。我是否应该选择 HBM如果不是考虑到成本因素HBM 通常非常适合该应用程序有客户向我们询问 HBM试图在 HBM 和 LPDDR 之间做出选择。这确实是他们做出的选择因为他们需要带宽。他们可以在这两个地方之一得到它。我们已经看到工程团队在 SoC 周围放置了多达 16 个 LPDDR 接口实例以满足他们的带宽需求。当你开始谈论这么多实例时他们会说“哦哇HBM 真的非常适合这个要求。” 但这仍然归结为成本因为许多公司只是不想支付 HBM3 带来的溢价。”
HBM 还存在架构方面的注意事项。“HBM 一开始就是一种多通道接口因此使用 HBM一个 HBM 堆栈上就有 32 个伪通道”Murdock 说。“有 16 个通道所以实际上有 32 个伪通道。伪通道是您在每个伪通道的基础上执行实际工作负载的地方。因此如果您有 16 个伪通道而不是在 SoC 上放置许多不同的 LPDDR 实例那么在这两种情况下您都必须弄清楚流量将如何瞄准整个通道中的整体地址空间定义。在这两种情况下你都有很多渠道所以也许并没有太大的不同。”
对于 AI/机器学习开发人员来说LPDDR 通常采用 bi-32 封装然后具有 2-16 位通道。
“你需要在你的架构中做出一个基本的选择”他解释道。“从系统的角度来看我是否将内存上的这两个 16 位通道视为真正独立的通道或者我是否将它们集中在一起并使其看起来像一个 32 位通道他们总是选择 16 位通道因为这为他们提供了更高的性能接口。在内存中我有两个通道。我的打开页面数量是我可能点击的两倍并通过页面点击减少了整体系统延迟。拥有更多更小的通道可以使系统性能更好这就是我们在 HBM 中看到的情况。从 HBM2e 到 HBM3我们专门放弃了通道和伪通道大小以应对此类市场。我们甚至在 DDR4 的 DDR5 中看到了这一点。我们从 DDR4 中的 64 位通道改为 DDR5 中的一对 32 位通道每个人都喜欢较小的通道尺寸以帮助提高整体系统性能。”
对于边缘人工智能推理Greenberg 一直在观察这些应用走到最前沿并发现 GDDR-6 是一项伟大的技术。“有很多芯片都希望拥有这种功能。这使得人工智能推理接近边缘因此您可以接收多个摄像头输入或多个其他传感器输入。然后在边缘使用人工智能您可以深入了解正在处理的数据而不是将所有数据发送回服务器来执行该功能。”
格林伯格预计很快就会出现大量芯片这些芯片将具有各种有趣的功能而无需将大量数据发送回服务器。他预计 GDDR6 将在那里发挥重要作用。
“前几代 GDDR 主要针对显卡”他说。“GDDR6 具有很多功能使其更适合作为通用内存。事实上虽然我们确实有用户将其用于显卡但大多数实际上是将其用于人工智能边缘应用程序”格林伯格说。“如果您需要尽可能多的带宽并且不关心它的成本是多少那么 HBM 是很好的解决方案。但如果您不需要那么多带宽或者成本是一个问题那么 GDDR6 在该领域会发挥有利作用。GDDR6的优点是可以在标准FR4 PCB上完成。制造过程中不需要特殊材料。没有特殊的工艺甚至PCB本身也不需要进行背钻。它不需要隐藏的通孔或类似的东西。”
最后GDDR 领域的最后一个趋势是努力使 GDDR 对消费者更加友好。“它仍然有一些非常受图形引擎青睐的规范部分但作为一项技术GDDR 正在向消费者方向发展”他说。“随着 GDDR 类型技术的更广泛部署它将继续朝这个方向发展。”
