网站制作需要多少钱?,公司网站建设开题报告,公司网站上荣誉墙怎么做,电脑手机自适应网站的建设来源#xff1a;文章转载自期刊《微纳电子与智能制造》#xff0c;作者#xff1a;陈 佳#xff0c;潘文谦#xff0c;秦一凡#xff0c;王 峰#xff0c;李灏阳#xff0c;李 祎#xff0c;缪向水。摘 要基于忆阻突触器件的硬件神经网络是神经形态计算的重要发展方向… 来源文章转载自期刊《微纳电子与智能制造》作者陈 佳潘文谦秦一凡王 峰李灏阳李 祎缪向水。摘 要 基于忆阻突触器件的硬件神经网络是神经形态计算的重要发展方向是后摩尔时代突破传统冯·诺依曼计算架构的有力技术候选。综述了国内外忆阻硬件神经网络的近期发展现状从器件发展和神经网络两个方面详细阐述了忆阻器这一新兴信息器件在神经形态计算中所发挥的角色作用讨论了依然存在的关键问题和技术挑战。忆阻器为实现存算一体化架构和超越摩尔定律提供了技术障碍突破的可行方案。引 言在当今数据量爆炸式增长的背景下传统计算架构遭遇冯·诺依曼瓶颈晶体管微缩摩尔定律已难以延续这已成为继续提升计算系统性能过程中难以克服的技术障碍[1-4]。神经形态计算概念的提出无疑是可以实现技术突破的一大曙光人脑信息处理系统的复杂程度是最先进的超级计算机也无法媲美的。在已报道的神经形态计算架构芯片中其计算能力显著提高并且体积和能耗远小得多。因此神经形态计算架构的发展在软件和硬件领域都被极度重视有望替换当前计算系统架构。而在众多用于实现神经形态计算的硬件元件中忆阻器以其高集成度、低功耗、可模拟突触可塑性等特点成为一大有力备选。忆阻器早在1971年就由蔡少棠教授[5]以第4种无源基本电路元件的概念提出2008年由惠普实验室首次在 Pt/TiO2/Pt三明治叠层结构中通过实验验证[6]。忆阻器首先因其电阻转变效应而被提出用作阻变存储器并被广泛研究。2010年密歇根大学卢伟教授团队[7]提出可以通过操控忆阻器件中离子迁移过程而精细调控器件电导值率先在SiAg忆阻器中实验模拟实现了突触权重调节行为和脉冲时序依赖突触可塑性从而掀起了忆阻人工神经突触和神经网络的研究热潮。1.神经形态计算与忆阻器件1.1 神经形态计算自1965年由英特尔Intel创始人之一GordonMoore提出摩尔定律以来半导体行业的技术发展已经遵循这一定律超过了半个世纪晶体管技术节点已经微缩到5nm以下如图1所示[2]。但近年来由于硅技术的物理极限摩尔定律的发展被预言面临终结芯片上的电子元器件不可能无限制地缩小。因此以密度驱动发展的晶体管技术也逐渐达到物理极限超越摩尔定律的多功能新兴信息器件可能成为后摩尔时代信息技术中不可或缺的基石。图1.摩尔定律在大数据时代背景下传统数据处理方法中存储器与处理器相分离的架构带来了冯·诺依曼瓶颈问题即存储器和处理器的运行速度均能达到相当水平但连接这两部分的总线传输速度远远达不到要求频繁的数据通信消耗了大部分信息处理的时间和功耗。这种处理方法已经无法满足物联网、边缘计算等新应用需求。相比之下人脑神经系统的信息活动具有大规模并行、分布式存储与处理、自组织、自适应和自学习等特征数据存储与处理没有明显的界限在处理非结构化数据等情况下具有非凡的优势。人工智能就是研究、开发用于模拟、延伸和扩展人的智能的系统对人的意识、思维的信息过程进行模拟在当今时代背景下具有巨大潜力。所以未来的计算机体系结构可能需要改变传统的把计算和存储分开的冯·诺依曼架构利用非易失存储器件打破“存储墙”模拟人脑处理机制构建存储与计算相融合的存算一体计算架构如图2所示。图2.传统冯·诺依曼计算架构与基于非易失存储器的存算一体化架构神经形态计算的研究与发展是通向未来人工智能时代构建新型存算一体架构的赛道之一。在神经形态计算的研究领域类神经网络与新型神经形态硬件是两大基础研究在此研究基础上结合对生物大脑机制的愈加深入了解最终实现人工智能。在类神经网络方面以深度学习为基础的神经网络研究已经普遍存在于人工智能领域。神经网络即以数学模型来模拟人脑神经元及突触的结构并结合多层次传导来模拟神经元的互联结构现如今已大量应用于人工智能。神经网络的发展一方面是基于对生物大脑的理解更贴切地去模拟其工作机制如第三代人工神经网络——脉冲神经网络的提出与发展另一方面是以片上网络配合软硬件以数学建模的方式来模拟脑内神经传导系统目标侧重于理解脑部信号传导的方式以从计算仿真角度反向助于了解大脑的运作方式。在新型神经形态硬件方面器件、电路以及整体架构设计都是极其重要的研究方向。在器件方面基于新兴非易失性存储器的神经形态计算近来引起人们极大的关注其中包括忆阻器[8]、相变存储器[9]、铁电存储器[10]、自旋电子器件[11]等它们可用于模拟生物神经元和突触的特性更重要的是它们都可能成为模拟存算一体计算的基础技术。在电路设计方面主要是实现仿生信号的产生与处理以及模拟-数字混合信号的高效处理。在整体架构设计方面实现存算一体化是核心目标有助于大幅减少数据迁移开销提高处理效率克服冯·诺依曼瓶颈和存储墙问题。1.2 忆阻器件忆阻器是一个简单的金属-绝缘体-金属MIM三明治结构在电压操作下能实现阻态翻转如图3a、b所示。对于双极性忆阻器来说施加正电压能将器件从高阻态转变为低阻态称为SET过程反之施加负电压能将器件从低阻态重新转变为高阻态称为RESET过程。因此忆阻器在初期被广泛作为阻变存储器开展研究在器件结构、材料等方面得到广泛研究并不断提出其优化设计方案。2011年美国密歇根大学卢伟教授团队以忆阻器的导电丝生长与断裂的阻变机制为出发点验证了器件的电导可以在电压脉冲激励下逐渐变化即导电丝可以在外部激励下逐渐生长和断裂从而贴切地模拟了生物突触权重在外界刺激下的逐渐增强或减弱如图3c、d并通过实验验证了器件对生物突触可塑性—脉冲时序依赖可塑性STDP的可模拟性。自此忆阻突触器件成为神经形态计算中新型电子突触器件的有力候选者之一。忆阻器作为电子突触器件主要包括以下几个特点1具有良好的生物突触特性模拟性。作为突触器件必须具备基本的生物突触特性如长时程增强long-term potentiationLTP和长时程抑制longterm depressionLTD脉冲时序依赖可塑性(spiketiming dependent plasticitySTDP)脉冲频率依赖可塑性(spike-rate dependent plasticitySRDP等[12]2突触单元在特征尺寸、功耗、速度等方面具有优于传统晶体管突触电路的明显优势3忆阻突触器件具备可扩展性包括在材料方面能被广泛应用同时在集成度上也能大规模扩展。单个突触器件的功能是基本需求而大规模扩展和应用是必要考虑的路线忆阻器与晶体管进行集成的1T1R阵列就是一个研究瞩目的规模扩展应用方向。图3.忆阻器件基本特性及其生物突触可拟性近年来基于忆阻器的神经网络存算一体加速器倍受学术界和工业界的关注。研究表明数据在CPU和片外存储之间的传输消耗的能量比一个浮点运算所消耗的能量高2个数量级。一方面基于忆阻器的内存加速器将计算与存储紧密结合从而省去传统的冯·诺依曼体系结构的中心处理器和内存之间的数据传输进而提升整体系统的性能并节省大部分的系统能耗。另一方面通过在忆阻器阵列外部加入一些功能单元阵列能在几乎一个读操作的延迟内完成一次矩阵乘加计算(multiplication andaccumulation,MAC)如图4所示且不随着输入维度的增加而增加而MAC运算在神经网络计算中被非常频繁地使用是其主要耗能来源之一。因此基于忆阻突触器件的神经网络应用是神经形态计算研究中的热门方向[13-23]。图4.在忆阻器阵列中实现矩阵乘加运算(MAC)2.技术发展现状目前神经形态计算的具体实现包括软件和硬件两个方面。对于神经形态计算的软件实现方面即类神经网络由于现有计算机系统的冯·诺伊曼瓶颈问题即使神经网络本身具有分布式、并行式等计算特点但依托于传统计算机架构在大数据计算时仍然会被限制其运算速度且功耗极大。因而神经网络的硬件化实现是当前从根本上解决冯·诺依曼瓶颈问题的重要路线。如美国DARPA资助 IBM、HP、HRL公司联合密歇根大学、斯坦福大学等研究机构开展的“突触计划”SYNAPSE Project神经形态可扩展的自适应可塑性电子系统等都展现了国际上对于神经网络硬件化实现的关注与投入。以IBM的TrueNorth芯片[24]、寒武纪的DaDianNao芯片[25]清华大学的天机芯片[26]等为例目前很多神经形态芯片的实现都是基于传统金属-氧化物-半导体metal-oxide-semiconductorCMOS晶体管。而在神经系统中突触数量远远超过神经元数目基于传统CMOS晶体管的突触电路会消耗大量面积和功耗。因此近年来基于新型电子突触器件的神经形态计算芯片研究火热在目前的IoT时代发展潮流下是边缘计算的强有力载体。美国密歇根大学卢伟教授团队[27]第一款基于忆阻器交叉阵列的通用存算一体化芯片同时实现了3种人工智能的算法包括多层感知机、稀疏编码以及无监督学习算法。中国台湾清华大学的张孟凡教授研究组[28]利用1T1R器件阵列和65nm CMOS工艺的控制和读出电路的集成实现了一个1Mb的忆阻存算一体处理器可同时实现神经网络的模拟计算和可重构逻辑的数字计算同时利用了忆阻器件的多值突触特性和二值阻变特性充分展示了忆阻突触器件在神经形态计算应用中的优势。3.基于忆阻器件的神经网络人工网络的发展源自于1943年McCulloch和Pitts[29]提出的首个用建模描述大脑信息处理过程的M-P神经元模型进而于1949年Hebb[30]提出了一种突触是联系可变的假设促进了神经网络的学习算法的研究直到1957年 Rosenblat[31]提出了感知机模型它被称为是首个比较完整的人工神经网络并且首次把神经网络的研究应用在实际工程中。至此关于人工神经网络的相关研究进入了热潮。自忆阻器被用作电子突触器件以来由于忆阻器中离子的迁移十分类似于神经突触中神经递质的扩散过程于是利用忆阻器来模拟神经网络中的突触成为一大趋势被广泛运用在神经网络中存储突触权值。大量的实验证明用忆阻器来模拟神经网络中的突触将会有很大的前景优势。具体地忆阻器作为一种基本的无源器件所具有的纳米级尺寸及非易失性,不仅能够在模拟神经突触时实现突触权值的不断变化实现存算一体化还可以构建集成度比较高的神经网络结构这使得人工神经网络不仅具有学习记忆的能力同时其功能也变得更加多样化[32-39]。3.1 多层感知机多层感知机模型网络结构如图5所示普遍被称为人工神经网络是基于第一代神经网络——感知机模型的应用扩展。由于单层感知机只能解决基本逻辑线性问题其表示用一条直线分割的空间因此为解决非线性问题通过在输入层与输出层之间加入隐藏层用以实现异或问题的解决最简单的多层感知机只有一个隐藏层层与层之间是全连接的。以简单的3层结构为例从输入层输入向量X输入层与隐藏层的神经元以全连接方式互连从而产生突触连接权重矩阵 W将输入向量X与权重矩阵W进行矩阵向量乘法运算即可以得到隐藏层的输出向量H以此类推输入信息可以在全连接的层之间通过权重矩阵向前传播得到输出结果Y。在多层感知机中最常采用的权重更新算法是反向传播算法通过理想的输出结果Z与实际输出结果Y产生误差值将误差值通过全连接多层网络反向传递以误差函数梯度下降的方法更新各层之间的权重矩阵值以将最终输出的误差值收敛到最小。不难看出在多层感知机神经网络的计算过程中输入信息向量与权重矩阵之间的矩阵向量乘法运算消耗了大量计算资源因而利用忆阻交叉阵列并行一步实现矩阵向量乘法计算可以大大减少硬件化神经网络的能耗。在基于忆阻突触器件的多层感知机应用中忆阻交叉阵列被用来存储突触权重矩阵每一个交叉点处的忆阻器的电导值被用来表示一个突触连接的权重值[40-42]。图5.多层感知机结构示意图清华大学吴华强教授团队[41]2017年在NatureCommunication上发表研究成果如图6所示利用1T1R器件单元模拟突触特性实现双向的器件电导调制并在1K的1T1R阵列中实现了3层全连接多层感知机并通过在线学习的方式实现了耶鲁人脸数据库的灰度人脸图像识别对9000个加入噪声影响的测试图片识别率可达到88.08%。与基于常规计算平台的Intel Xeon Phi处理器的神经网络计算对比基于1T1R阵列的神经网络在片上计算方式上能耗相比低1 000倍在片外计算方式上能耗相比低20倍。图6.在1T1R阵列中实现人脸识别任务美国加利福尼亚大学圣芭芭拉分校Strukov教授团队[42]设计制备了20×20的金属氧化物交叉阵列如图7所示在器件方面该忆阻器的中间功能层采用TiO2-x与Al2O3叠层Al2O3叠层作为阻挡层的引入使得器件的基本I-V特性变得更加非线性这种非线性的引入有助于忆阻器的0T1R阵列中漏电流问题的抑制。同时根据器件截面图器件制备过程中底电极沉积成三角形形状这样的设计一方面可以让功能层更好地覆盖下电极另一方面也可以以此降低顶电极的接触电阻。在此研究成果基础上该团队进一步地将忆阻器交叉阵列与传统 CMOS外围电路进行互联设计实现了单隐藏层的多层感知机用于分类功能硬件设计复杂度提高了10倍以上离线学习的分类准确度高达97%以上。图7.利用Pt/Al2O3/TiO2−x/Ti/Pt忆阻阵列实现三层全连接感知机网络3.2 卷积神经网络卷积神经网络convolutional neural networkCNN的出现解决了图像对于神经网络来说的难点大量的图像处理数据导致成本高、效率低在数字化的过程中很难保留原有的图像特征导致图像处理的准确率不高。CNN通过卷积运算降维减小参数复杂度将复杂问题简化后再做处理并且用类似视觉的方式保留了图像的特征当图像做翻转、旋转或者变换位置时它也能有效地进行识别。典型的CNN由3部分构成卷积层、池化层和全连接层如图8所示简单来描述卷积层通过卷积操作提取图像中的局部特征池化层通过平均池化或最大池化操作特殊的卷积操作来大幅降低参数量级降维全连接层类似传统神经网络的部分用来实现分类功能输出分类识别结果。因此卷积神经网络相较于多层感知机应用更广泛泛化能力更强大。基于忆阻器交叉阵列实现卷积神经网络主要包括两个部分卷积操作部分和全连接层部分。一方面忆阻器阵列可以存储卷积核值实现一步完成输入信息与卷积核的矩阵向量乘法计算大大提高计算效率另一方面卷积神经网络的全连接层部分即为一个多层感知机如前所述也可以利用忆阻器交叉阵列并行实现[43-46]。图8.卷积神经网络结构示意图法国的Garbin等[45]首次展示了基于多个并联二值HfO2忆阻器实现一个突触功能来搭建脉冲CNN如图9所示基于对器件编程条件的影响进行实验和理论研究发现即使在器件变化较大的情况下也可以实现具有高保真度的视觉模式识别模式识别率94。该工作证实了将忆阻器用作CNN中突触器件的可行性并且基于氧化物的忆阻器件具有低开关能耗和高操作耐久性。图9.利用HfO2忆阻器实现卷积神经网络IBM团队Gokmen等[46]提出了利用硬件的并行性将卷积层映射到忆阻阵列的方法以及具体研究了如何在忆阻器上进行CNN训练如图10所示提出了噪声和边界管理技术以解决在阵列上执行的计算施加的噪声和边界限制影响CNN的训练准确性的问题并且讨论了器件随机可变性对网络的影响以及解决的方法进一步探讨基于忆阻器的卷积神经网络可行性。图10.卷积层映射到忆阻阵列的方法3.3.二值神经网络二值神经网络binarized neural network,BNN是神经网络“小型化”探索中一个重要的方向。神经网络中有两个部分可以被二值化一是网络的权重二是网络的中间结果。通过把浮点单精度的权重变成1或-1存储空间大小变为原来的1/32计算量变为原来的1/58。其中权值参数W必须包含实数型的参数然后将实数型权值参数二值化得到二值型权值参数即Binarize操作如图11所示。具体二值化方法为大于等于0取1否则取-1。因此仅用1/-1构成权值矩阵和网络传播参数压缩芯片体积并加速了计算过程大大减少了存储大小和访问操作并以逐位操作取代大多数算术操作这将大大提高能耗效率更适合应用于设备端的边缘计算。而忆阻器件最基本的高低阻态的二值转变特性非常完美地满足了二值神经网络对于突触器件的需求特别地相较于忆阻器件的多值突触特性其二值特性更稳定从器件工程方面来说也更容易实现。因此基于忆阻器件的二值神经网络从硬件实现方面来说极具挖掘性。图11.二值神经网络中的二值化流程图北京大学康晋锋教授团队[47]在基于忆阻器件的二值神经网络实现上首次提出了一种新的硬件实现方法如图12所示利用非线性突触单元来构建用于在线训练的BNN。通过忆阻器阵列设计和演示基于2T2R的突触单元以实现BNN 中突触的基本功能二进制权重signW读取和模拟权重更新W ΔW。通过MNIST对基于2T2R突触单元的BNN的性能进行了评估识别准确率达到97.4。图12.基于2T2R突触阵列的二值神经网络示意图亚利桑那州立大学Yu课题组[48]用忆阻器交叉阵列实现二值神经网络计算加速具体地采用XNOR同或逻辑加速和bit-counting并行操作来代替复杂的乘法累加操作如图13所示并且在基于手写字体数据集的多层感知机上实现98.43%识别准确率在基于CIFAR-10数据集的卷积神经网络上实现86.08%的准确率分别比理想情况下降0.34%和2.39%的识别精度该工作能耗为141.18TOPS/W相较于顺序逐行读取的忆阻神经网络能耗效率提高约33倍验证了二值神经网络的在速度和能耗上的潜在优势。图13.忆阻器交叉阵列实现二值神经网络计算加速方法3.4 长短期记忆网络长短期记忆网络long short- term memoryLSTM是一种时间递归神经网络适合于处理和预测时间序列中间隔和延迟相对较长的事件。LSTM是一种特殊的循环神经网络为解决循环神经网络recurrent neural networkRNN结构中存在的“梯度消失”问题而提出网络结构如图14所示。LSTM在设计上明确避免了长期依赖的问题主要归功于LSTM精心设计的“门”结构输入门、遗忘门和输出门消除或者增加信息到单元状态的能力使得LSTM能够记住长期的信息。在LSTM中第一阶段是遗忘门遗忘层决定哪些信息需要从单元状态中被遗忘下一阶段是输入门输入门确定哪些新信息能够被存放到单元状态中最后一个阶段是输出门输出门确定输出什么值。同样利用忆阻阵列实现突触功能以及存算一体在LSTM这种循环网络有很大优势可以实现高度并行的高速低功耗操作是基于忆阻器件的又一神经网络功能实现。图14.长短期记忆网络的结构示意图美国马萨诸塞大学杨建华团队[49]首先在128×64的1T1R阵列上实现了LSTM神经网络如图15所示利用忆阻器交叉阵列来存储LSTM在不同时间步长中共享的突触权重并执行了全球航空旅客人数预测任务和人类步态识别任务分别验证了忆阻LSTM执行线性回归预测类任务和模式识别类任务的可行性验证了忆阻阵列作为低延时、低功耗的边缘推断平台运行LSTM神经网络的可行性有助于规避“冯·诺依曼瓶颈”问题。图15.基于忆阻突触阵列的LSTM网络以预测下个月的航空公司乘客人数IBM公司的Burr团队[50]在器件非一致性较高的情况下将权重参数映射和编码到相变存储器phasechange memory, PCM电导中采用了两对器件分别表示高低位权重、权重裁切、单向电导调节等方法网络设计如图16所示实现了LSTM的前向推断并且首次在2.5M大小的阵列中实现了近似软件的文本预测准确率同时对比了多种不同方法对权重映射准确度和预测准确度的影响。图16.基于相变存储器件单元的长短期记忆网络实现方法4.总结总的来说基于忆阻器的神经网络应用是神经形态计算不可或缺的研究方向。忆阻器以自身的突触可塑性、低功耗、高效率、可集成等优势在神经网络应用中被大量研究实现了多样化的忆阻神经网络包括多层感知机、卷积神经网络、长短期记忆网络等。忆阻器主要被用作神经网络中的突触器件其在脉冲下的多值调控特性完美地实现突触权重硬件化映射能够存储突触权重矩阵并实现原位计算。忆阻器交叉阵列的并行矩阵乘加运算能力实现了神经网络计算的加速神经网络计算。因此基于忆阻器的神经网络是其硬件化的有效实现方案为构建存算一体化的新型计算架构提供解决办法。但在神经网络的硬件化实现方面仍然存在许多亟待解决的问题以及需要深入思考的困惑。主要包括以下几个方面1忆阻器件的突触特性仍需进一步提高如忆阻器的多值电导调控特性在当前研究中只考虑了脉冲连续施加情况下电导的连续改变但对于实际应用来说稳定且非易失的每一个电导状态是必要的。因此如何定义忆阻器的电导连续变化过程中的多值以及如何从器件工程层面改善器件的稳定多值特性是目前忆阻突触器件在实际硬件实现过程中的一大难题。2忆阻器的导电丝阻变机理造成了器件本征的不可消除的噪声问题。由于导电丝在形成和断裂过程中都不可能完全受外部施加的激励所控制其随机性不可消除因此使得忆阻器的本征噪声问题无法解决。而在神经网络应用中这一本征噪声问题的影响是否会对系统造成损耗还不可获知需要更进一步的研究和实验验证。3在当前的研究成果中忆阻阵列具有传统CMOS逻辑电路不可比拟的并行计算能力和存储与计算相融合的特点但忆阻突触器件的模拟计算特性与外围CMOS数字电路无法完全兼容数模/模数转换成为忆阻阵列与CMOS集成的电路设计的难点。过于复杂的外围电路会提高系统的整体功耗与忆阻阵列的引入初衷相悖。参考文献:[1] MOORE G. Moore’s law[J]. Cramming more components onto integrated circuits[J]. Electronics, 1965, 38(8): 114-117. [2] HOLT W M. 1.1 Moore’s law: a path going forward[C]//2016 IEEE International Solid-State Circuits Conference(ISSCC). IEEE, 2016: 8-13. [3] JONES V F R. A polynomial invariant for knots via vonNeumann algebras[M]. New Developments in The Theory of Knots, 1985. [4] BACKUS J W. Can programming be liberated from thevon Neumann style? A functional style and its algebra ofprograms[J]. Communications of the ACM, 1978, 21(8):613-641. [5] CHUA L. Memristor-the missing circuit element[J].IEEE Transactions on Circuit Theory, 1971, 18(5): 507-519. [6] STRUKOV D B, SNIDER G S, STEWART D R, et al.The missing memristor found[J]. Nature, 2008, 453(7191): 80-83. [7] JO S H, CHANG T, EBONG I, et al. Nanoscale mersister device as synapse in neuromorphic systems[J]. NanoLetters, 2010, 10(4): 1297-1301. [8] CHEN J, LIN C Y, LI Y, et al. LiSiOx- based analogmemristive synapse for neuromorphic computing[J].IEEE Electron Device Letters, 2019, 40(4): 542-545. [9] AMBROGIO S, NARAYANAN P, TASI H, et al. Equivalent- accuracy accelerated neural- network training usinganalogue memory[J]. Nature, 2018, 558(7708): 60-67. [10] JERRY M, CHEN P Y, ZHANG J, et al. FerroelectricFET analog synapse for acceleration of deep neural network training[C]// 2017 IEEE International Electron Devices Meeting (IEDM). IEEE, 2017: 6.2.1-6.2.4. [11] WU M H, HONG M C, CHANG C C, et al. Extremelycompact integrate-and-fire STT-MRAM neuron: A pathway toward all- spin artificial deep neural network[C]//2019 Symposium on VLSI Technology. IEEE, 2019: T34-T35. [12] LI Y, ZHONG Y, ZHANG J, et al. Activity- dependentsynaptic plasticity of a chalcogenide electronic synapsefor neuromorphic systems[J]. Scientific Reports, 2014, 4 (6184): 4906. [13] CHEN P Y, PENG X, YU S. NeuroSim: A circuit-levelmacro model for benchmarking neuro-inspired architectures in online learning[J]. IEEE Transactions on Computer- Aided Design of Integrated Circuits and Systems,2018, 37(12): 3067-3080. [14] DEGUCHI Y, MAEDA K, SUZUKI S, et al. Error-reduction controller techniques of TaOx- based ReRAM fordeep neural networks to extend data- retention lifetimeby over 1700x[C]// 2018 IEEE International MemoryWorkshop (IMW). IEEE, 2018: 1-4. [15] DIEHL P U, COOK M. Unsupervised learning of digitrecognition using spike- timing- dependent plasticity[J].Frontiers in Computational Neuroscience, 2015, 9(429):99. [16] GOKMEN T, ONEN M, WILFRIED H. Training deepconvolutional neural networks with resistive cross- pointdevices[J]. Frontiers in Neuroscience, 2017, 11: 538. [17] GOKMEN T, VLASOV Y. Acceleration of deep neuralnetwork training with resistive cross- point devices: design considerations[J]. Frontiers in Neuroscience, 2016,10(51): 333. [18] ESSER S K, MEROLLA P A, ARTHUR J V, et al. Convolutional networks for fast energy- efficient neuromorphic computing[J]. Proceedings of the National Academy of Sciences, 2016, 113(41): 11441-11446.[19] CHEN L, LI J, CHEN Y, et al. Accelerator-friendly neural- network training: learning variations and defects inRRAM crossbar[C]// 2017 Design, Automation Testin Europe Conference Exhibition (DATE). IEEE,2017: 19-24. [20] CHANG C C, LIU J C, SHEN Y L, et al. Challengesand opportunities toward online training acceleration using RRAM- based hardware neural network[C]// 2017IEEE International Electron Devices Meeting (IEDM).IEEE, 2017: 11.6.1-11.6.4. [21] TRUONG S N, MIN K S. New memristor-based crossbar array architecture with 50-% area reduction and48-% power saving for matrix- vector multiplication ofanalog neuromorphic computing[J]. Journal of Semiconductor Technology and Science, 2014, 14(3): 356-363. [22] CHOI S, SHIN J H, LEE J, et al. Experimental demonstration of feature extraction and dimensionality reduction using memristor networks[J]. Nano Letters, 2017, 17(5): 3113-3118. [23] HU M, GRAVES C E, LI C, et al. Memristor‐based analog computation and neural network classification with adot product engine[J]. Advanced Materials, 2018, 30(9):1705914. [24] NURSE E, MASHFORD B S, YEPES A J, et al. Decoding EEG and LFP signals using deep learning: headingTrueNorth[C]// Proceedings of the ACM InternationalConference on Computing Frontiers. ACM, 2016: 259-266. [25] LUO T, LIU S, LI L, et al. Dadiannao: A neural networksupercomputer[J]. IEEE Transactions on Computers,2016, 66(1): 73-88. [26] PEI J, DENG L, SONG S, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture[J].Nature, 2019, 572: 106-111. [27] CAI F, CORRELL J, LEE S H, et al. A fully integratedreprogrammable memristor – CMOS system for efficientmultiply – accumulate operations[J]. Nature Electronics,2019, 2(7): 290-299. [28] CHEN W H, DOU C, LI K X, et al. CMOS-integratedmemristive non- volatile computing- in- memory for AIedge processors[J]. Nature Electronics, 2019, 2: 1-9. [29] MCCULLOCH W S, PITTS W. A logical calculus of theideas immanent in nervous activity[J]. The Bulletin ofMathematical Biophysics, 1943, 5(4): 115-133. [30] HEBB D O. The organization of behavior: a neuropsychological theory[J]. American Journal of Physical Medicine Rehabilitation, 2013, 30(1): 74-76. [31] ROSENBLATT F. The perceptron: a probabilistic modelfor information storage and organization in the brain[J].Psychological Review, 1958, 65(6): 386-408. [32] WANG Z R, JOSHI S, SAVEL’EV S, et al. Fully memristive neural networks for pattern classification with unsupervised learning[J]. Nature Electronics, 2018, 1(2):137-145. [33] CAI F, CORRELL J, LEE S H, et al. A fully integratedreprogrammable memristor – CMOS system for efficientmultiply – accumulate operations[J]. Nature Electronics,2019, 2(7): 290-299. [34] IELMINI D, AMBROGIO S, MILO V, et al. Neuromorphic computing with hybrid memristive/CMOS synapsesfor real-time learning[C]// 2016 IEEE International Symposium on Circuits and Systems (ISCAS). IEEE, 2016:1386-1389. [35] CHEN P Y, YU S. Partition SRAM and RRAM basedsynaptic arrays for neuro- inspired computing[C]// 2016IEEE International Symposium on Circuits and Systems(ISCAS). IEEE, 2016: 2310-2313. [36] KIM S G, HAN J S, KIM H, et al. Recent advances inmemristive materials for artificial synapses[J]. AdvancedMaterials Technologies, 2018, 3(12): 1800457. [37] TSAI H, AMBROGIO S, NARAYANAN P, et al. Recentprogress in analog memory- based accelerators for deeplearning[J]. Journal of Physics D: Applied Physics,2018, 51(28): 283001. [38] SUNG C, HWANG H, YOO I K. Perspective: a reviewon memristive hardware for neuromorphic computation[J]. Journal of Applied Physics, 2018, 124(15): 151903. [39] CRISTIANO G, GIORDANO M, AMBROGIO S, et al.Perspective on training fully connected networks with resistive memories: device requirements for multiple conductances of varying significance[J]. Journal of AppliedPhysics, 2018, 124(15): 151901. [40] LI C, BELKIN D, LI Y, et al. Efficient and self-adaptivein-situ learning in multilayer memristor neural networks[J]. Nature Communications, 2018, 9(1): 2385. [41] YAO P, WU H, GAO B, et al. Face classification usingelectronic synapses[J]. Nature Communications, 2017, 8:15199. [42] BAYAT F M, PREZIOSO M, CHAKRABARTI B, et al.Implementation of multilayer perceptron network withhighly uniform passive memristive crossbar circuits[J].Nature Communications, 2018, 9(1): 2331. [43] KWAK M, PARK J, WOO J, et al. Implementation ofconvolutional kernel function using 3- D TiOx resistiveswitching devices for image processing[J]. IEEE Transactions on Electron Devices, 2018, 65(10): 4716-4718. [44] YAKOPCIC C, ALOM M Z, TAHA T M. Memristorcrossbar deep network implementation based on a convolutional neural network[C]// 2016 International JointConference on Neural Networks (IJCNN). IEEE, 2016:963-970. [45] GARBIN D, VIANELLO E, BICHLER O, et al. HfO2-based OxRAM devices as synapses for convolutionalneural networks[J]. IEEE Transactions on Electron Devices, 2015, 62(8): 2494-2501. [46] GOKMEN T, ONEN M, HAENSCH W, et al. Trainingdeep convolutional neural networks with resistive crosspoint devices[J]. Frontiers in Neuroscience, 2017, 11:538. [47] ZHOU Z, HUANG P, XIANG Y C, et al. A new hardware implementation approach of BNNs based on nonlinear 2T2R synaptic cell[C]// 2018 IEEE InternationalElectron Devices Meeting (IEDM). IEEE, 2018: 20.7.1-20.7.4. [48] SUN X, YIN S, PENG X, et al. XNOR-RRAM: a scalable and parallel resistive synaptic architecture for binary neural networks[C]// 2018 Design, Automation Test in Europe Conference Exhibition (DATE). IEEE,2018: 1423-1428. [49] LI C, WANG Z, RAO M, et al. Long short-term memory networks in memristor crossbar arrays[J]. Nature Machine Intelligence, 2019, 1(1): 49-57. [50] TSAI H, AMBROGIO S, MACKIN C, et al. Inferenceof long-short term memory networks at software-equivalent accuracy using 2.5M analog phase change memorydevices[C]// 2019 Symposium on VLSI Technology.IEEE, 2019: T82-T83.文献引用:陈佳潘文谦秦一凡等. 基于忆阻器的神经网络应用研究[J]. 微纳电子与智能制造, 2019, 1(4): 24-38.CHEN Jia, PANWenqian, QIN Yifan, et al. Research of neural network based on memristor[J]. Micro/nano Electronics and Intelligent Manufacturing, 2019, 1(4): 24-38.《微纳电子与智能制造》刊号CN10-1594/TN主管单位北京电子控股有限责任公司主办单位北京市电子科技科技情报研究所 北京方略信息科技有限公司未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
