东阳市建设局网站,域名注册管理中心网站,怎么对网站链接做拆解,书城网站建设规划书1 需求背景 在全球数据量呈指数级暴涨#xff0c;算力相对于AI运算供不应求的现状下#xff0c;存算一体技术主要解决了高算力带来的高能耗成本矛盾问题#xff0c;有望实现降低一个数量级的单位算力能耗#xff0c;在功耗敏感的百亿级AIoT设备上、高能耗的数据中心、自动驾…1 需求背景 在全球数据量呈指数级暴涨算力相对于AI运算供不应求的现状下存算一体技术主要解决了高算力带来的高能耗成本矛盾问题有望实现降低一个数量级的单位算力能耗在功耗敏感的百亿级AIoT设备上、高能耗的数据中心、自动驾驶等领域有望发挥其低功耗、低时延、高算力密度等优势。 在现有的成熟架构及工艺下当前依靠制程技术进步增加晶体管密度提升算力、降低功耗已逐步趋于物理极限且成本逐步提高 在冯诺依曼架构下由于数据存储与运算单元分离算力提升受限功耗增加 应对存储单元与计算单元分离的现状存算一体技术思路应运而生在器件单元上存储与计算单元融合通过底层的架构创新解决冯诺依曼架构的固有瓶颈 由于存储介质技术在近年来不断突破此外AIoT时代对于设备的智能化、低功耗、体积小、低时延等特性提出了天然要求而现有的技术路线未能很好的满足需求在技术突破叠加市场需求的双重作用力下存算一体技术当前已到达产业化爆发拐点 相对于五十多年前CPU的诞生以及二十多年前GPU的诞生当前存算一体技术仍处于早期阶段未来依靠其更好的并行度、更好的能效比等特性有望成为智能化时代的主流算力平台之一与现有的算力解决方案互为补充。 2 概念与原理 存算一体是一种通过将数据存储单元与计算单元距离拉近、互相融合从而提升访存带宽、减少访存功耗的技术。 近存计算不改变计算单元和存储单元本身设计功能通过采用先进的封装方式及合理的硬件布局和结构优化增强二者间通信宽带增大传输速率本质上属于冯诺依曼架构通过拉近存储单元和计算单元的距离对“存储墙”进行优化。 存内计算存储单元与计算单元完全融合无独立计算单元通过存储器颗粒上嵌入算法由存储器芯片内部的存储单元完成计算操作其设计难度更高未来可提升的空间也更大但需要获得代工厂许可支持。本文所探讨是存算一体/存内计算企业主要集中于这类。 3 技术路线 分析存算一体当前存算一体芯片研发企业/机构在成熟介质上的切入点集中在SRAM、Nor-Flash和DRAM等部分学术机构选择切入RRAM等新型介质研发。 从存储介质的分类来讲分为易失性存储器和非易失性存储器。 易失性存储器即在正常关闭系统或者突然性、意外性关闭系统的时候数据会丢失成本高。如SRAM、DRAM 非易失性存储器 在上述断电情况下数据不会丢失成本低。如FLASH 不同的存储介质在计算机架构中均承担着必要的工作任务其中SRAM距离CPU最近响应时间最快存储容量较小 其次分别是DRAM、NAND-Flash等介质。 3.1 SRAM SRAMCPU缓存一个存储单元需要4-6个晶体管特点是速度最快纳秒级不需要一直充电。 优势是存储密度高于SRAM适合数据中心等处理大容量模型的场景但与CMOS工艺不兼容访存性能和能效不如SRAM其次设计需要DRAM vendor的支持。基于DRAM的存算技术路线大致有四类具体如下
基于SRAM的近存计算通常指采用大量片上SRAM作为缓存的计算架构计算采用数字方式、精度较高、通常面向大算力场景代表Graphcore、Tenstorrent等基于SRAM的数字存内计算改造SRAM阵列加入数字计算逻辑单元在SRAM阵列中支持MAC计算进一步提升Tensor计算的性能、减少功耗适合AI大算力场景代表后摩智能、苹芯、TSMC等基于SRAM的模拟存内计算改造SRAM宏单元利用电流、电荷累计等模拟计算方式支持MAC计算在低精度计算场景有低功耗的优势适合边缘/物联网等低算力、低功耗的场景。代表九天睿芯
3.2 DRAM DRAM内存条一个存储单元仅需一个晶体管和一个小电容占据58%的半导体存储市场份额当前已突破20nm往10nm过渡。 优势是存储密度高于SRAM适合数据中心等处理大容量模型的场景但与CMOS工艺不兼容访存性能和能效不如SRAM其次设计需要DRAM vendor的支持。基于DRAM的存算技术路线大致有四类具体如下
基于2D DRAM的近存计算在DRAM芯片内部加入定制计算单元或者通用处理器能够显著提升访存带宽减少能耗这种2D设计的好处是性价比高、可扩展性好但是由于DRAM工艺的限制能提供的计算密度受限而且跨芯片间的通信带宽依旧受限代表Upmem、三星、海力士等基于2.5D DRAM的近存计算利用2.5D集成技术高性能计算芯片将HBM与处理单元集成在一起提供大访存带宽适用于大算力的场景主要挑战是价格昂贵功耗较高代表GPU、TPU、寒武纪等。基于3D DRAM的近存计算将计算单元与DRAM进行堆叠甚至对HBM内部进行改造把其中部分存储替换为计算单元从而进一步提升带宽并减少访存功耗相应的代价是增加了功耗密度、减少了存储容量等代表三星、平头哥等基于DRAM的存内计算修改DRAM的存储阵列来支持基本的计算逻辑因为对DRAM修改较大主要在学术界提出一些原型设计
3.3 FLASH 优势是存储密度高但读写速度慢、擦写次数受限明显。 NAND Flash如固态硬盘、U盘和内存容量大但读写速度极低 NOR Flash代码型内存主要存一些指令如机顶盒、网关、路由器中嵌入代码的存储容量较小且写入数据极低但读速较快。
基于Flash的存算技术路线大致有两类具体如下
基于SSD的近存计算也称为计算存储设备Computational Storage Drive, CSD在SSD控制器内/附近加入计算单元或者处理器主要面向数据中心的大规模数据密集应用如数据库大数据分析等代表三星/XilinxScaleFlux, NGD Systems等基于Flash的模拟存内计算基于Flash的模拟存内计算功耗低但是由于写入速度慢且高精度即每个cell存储多比特数值写入有挑战适合模型固定的低功耗应用场景代表知存科技、Mythic、闪忆科技等 3.4 新型工艺 长期来看存算一体芯片产品化的快速发展离不开新型存储介质成熟度提升的助推以下为不同新型存储介质的原理比较 长期来看RRAM忆阻器是除了电阻器、电容器、电感器之外的一大新发现其与生物神经突触有着非常类似的特性因此也被成为电子突触器件。 以下为新型存储介质的性能比较 3.5 性能比较 以下为不同存储介质的存储原理及客观性能比较其中成熟的存储介质如SRAM、DRAM、Flash基于电荷的移动完成数据存储新型存储介质与RRAM、MRAM等基于电阻大小的变化完成数据存储功能。 4 挑战 存算一体技术是一门非常复杂的综合性创新产业还算不上成熟在产业链方面仍旧存在上游支撑不足下游应用不匹配的诸多挑战但诸多的挑战同时也构成了当前存算一体创新未来可构筑的综合性壁垒。 5 趋势 存算一体技术发展趋势更高精度、更高算力、更高能效。 6 人才与生态
1作为一个新领域存算一体芯片复合型人才稀缺人才更多在学术界。 完成存算一体芯片的产品化开发需同时具备较强的学术原创能力存算一体的架构和编译器设计、存算相关的量化算法开发等及工程实践能力场景理解能力、芯片落地能力。
2从上游到下游的生态不完整既是挑战也是机遇。 存算一体芯片的大规模落地需与芯片厂商、软件工具厂商以及应用集成厂商等产业生态合作伙伴的大力协同研发和推广应用。 需有一套方便、可用的工具链和软件让采购方迁移成本低。 兼容现有的软件生态让采购方用起来“无感”如可直接利用现有GPU训练软件框架。 引导采购方逐步切入专用工具链进行模型适配、压缩等更好利用存算一体的优势逐步建立生态。
7 相关企业 国内存算一体芯片企业有知存科技、苹芯科技、后摩智能、亿铸科技、智芯科、千芯科技、九天睿芯等创新企业国外有如Mythic、Syntiant等公司。 知存科技在存内计算芯片的研发和推广方面处于领先地位。他们的WTM2101基于nor flash存储介质40nm的制程实现了超低功耗以及高算力。特别适用于智能语音和智能健康等领域。该公司不仅在技术上取得了突破2023年1月还获得了2亿元的B2轮融资显示了市场对其发展的认可和期待。 CSDN首个存内计算开发者社区来了基于各界产学研存内技术研究涵盖最丰富的存内计算内容以存内技术为核心史无前例的技术开源内容囊括云/边/端侧商业化应用解析以及AI时代新技术趋势洞察等 邀请业内大咖定期举办存内workshop实战演练体验前沿架构从理论到实践做为最佳窗口存内计算让你触手可及。
传送门https://bbs.csdn.net/forums/computinginmemory?category10003 首个存内计算开发者社区现0门槛新人加入发文享积分兑超值礼品 存内计算先锋/大使在社区投稿可获得双倍积分以及社区精选流量推送 此外您的精选文章可获得社区奖金激励800可获得线下训练营的免费名额以及存内主题活动大咖交流机会 社区优先赠送存内计算技术与应用精选论文GitHub - CIMDeveloper/CIM-Files请查收~
参考文献
https://mp.weixin.qq.com/s/XvxzFQnKFliabFf8iey7cQ
https://blog.csdn.net/younger_china/article/details/135960527
