做美团网站代码,拼多多seo怎么优化,在线制作图片头像,四川省工程建设信息官方网站来源#xff1a;混沌巡洋舰今天最成功的人工智能算法#xff0c;人工神经网络#xff0c;是基于我们大脑中错综复杂的真实神经网络。但与我们高效的大脑不同的是#xff0c;在计算机上运行这些算法消耗了惊人的能量: 最大型的模型在训练全过程中消耗的能量几乎相当于五辆汽… 来源混沌巡洋舰今天最成功的人工智能算法人工神经网络是基于我们大脑中错综复杂的真实神经网络。但与我们高效的大脑不同的是在计算机上运行这些算法消耗了惊人的能量: 最大型的模型在训练全过程中消耗的能量几乎相当于五辆汽车。进入神经形态计算是一个更接近我们大脑的设计原则和物理学的新架构可能成为能耗更低人工智能的未来。神经形态计算模拟了我们头脑中胶状物质的结构将计算单元(神经元)放在记忆(存储在连接神经元的突触中)旁边而不是在中央处理单元和存储芯片之间进行长距离的数据传输。为了使它们更像大脑研究人员将神经形态芯片与模拟计算结合起来这种计算机可以像处理真正的神经元一样处理连续的信号。由此产生的芯片与目前仅依赖0和1的二进制信号处理的数字计算机的架构和计算模式有很大的不同。以大脑为指导神经形态芯片有望有朝一日消除人工智能中大数据量的计算任务的高能耗。不幸的是人工智能算法在这些芯片的模拟版本中表现不佳因为存在被称为设备不匹配的问题: 在芯片上由于制造过程的复杂性单个模拟神经元中的微小组件无法运行最新的训练程序所以算法必须首先在传统计算机上进行离散化训练。但是当算法传输到芯片上时一旦遇到模拟硬件的不匹配其性能就会下降。现在上个月发表在PNAS的一篇论文[1]最终揭示了一种绕过这个问题的方法。Friedrich Miescher生物医学研究的 Friedemann Zenke 和海德堡大学的 Johannes Schemmel 领导的一个研究小组表明一种被称为尖峰神经网络的人工智能算法---- 利用大脑独特的通信信号即尖峰---- 可以与芯片一起学习如何补偿设备不匹配。这篇论文是人工智能向模拟神经形态计算迈出的重要一步。“令人惊讶的是它工作得如此之好,”荷兰国家数学和计算机科学研究所 CWI 的神经网络专家Sander Bohte说。“这是一个相当大的成就很可能是模拟神经形态系统通向更多应用的蓝图。”模拟计算对于基于大脑的计算的重要性是微妙的。数字计算可以有效地代表大脑尖峰信号的一个二进制方面即像闪电一样穿过神经元的电脉冲。就像二进制数字信号一样要么发出尖峰信号要么不发出。但是尖峰信号是随着时间不断发送的ーー这是一种模拟信号ーー而且我们的神经元最初决定发送尖峰信号的方式也是连续的这是基于细胞内的电压随着时间的推移而变化。(当电压达到与细胞外电压相比的特定阈值时神经元发出一个尖峰。)“大脑进行计算的美妙之处在于其是模拟的。模仿大脑的这个关键方面是神经形态计算的主要驱动力之一苏黎世大学和苏黎世联邦理工学院的神经形态工程研究员 Charlotte Frenkel 说。2011年海德堡大学的一组研究人员开始开发一种同时具有模拟和数字两个方面的神经形态芯片用以密切模拟大脑的神经科学实验。现在由 Schemmel 领导的团队已经发布了最新版本的芯片称为 BrainScaleS-2。芯片上的每个模拟神经元都模拟了脑细胞的输入输出电流和电压变化。你真的拥有一个不断交换信息的动力系统。由于这些材料具有不同的电特性芯片传输信息的速度比我们的大脑快1000倍。但是由于模拟神经元的特性变化如此之小ーー器件不匹配的问题ーー电压和电流水平也因神经元而异。这些算法无法处理这个问题因为它们是在完全相同的数字神经元的计算机上训练的这会使得它们的模拟片上性能突然大幅下降。这项新工作指明了前进的道路。通过在训练过程中加入该芯片作者表明脉冲神经网络可以学习如何校正 brainscales-2芯片上不同的电压。弗兰克尔说: “这种训练方法是首批令人信服的证据之一证明异质性不仅可以被补偿而且可能被利用。”。为了解决设备不匹配问题研究小组将一种允许芯片与计算机对话的方法与一种称为代理梯度的新学习方法结合起来。代理梯度是由 Zenke 专门为刺激神经网络而开发的。它通过改变神经元之间的连接来减少神经网络在任务中出现的错误。(这类似于非脉冲神经网络所使用的方法称为反向传播。)在计算机上进行训练时代理梯度法能有效地纠正芯片异质性带来的缺陷。首先脉冲神经网络利用芯片上模拟神经元的不同电压执行一个简单的任务将电压记录发送回数字计算机。在那里算法自动学习如何最好地改变其神经元之间的连接使其仍然能在模拟神经元很好地发挥作用并在学习中持续改变其在芯片上的权重。然后当训练完成时脉冲神经网络可在芯片上执行任务。研究人员报告说他们的神经网络在语音和视觉任务上达到了与在计算机上执行任务的顶级脉冲神经网络相同的精确度。换句话说该算法准确地知道需要做哪些更改才能克服设备不匹配问题。Sussex学的计算神经科学家 Thomas Nowotny 说: “他们用这个系统做了一个真正的问题这是一个巨大的成就。”。而且正如所料他们这样做的能源效率令人印象深刻; 作者说在芯片上运行他们的算法消耗的能源比一个标准处理器需要的能源少1000倍。然而Frenkel 指出虽然能量消耗到目前为止是个好消息但是神经形态芯片仍然需要在一般化的硬件环境中完成类似的语音和视觉识别任务而不是为其特定优化的处理器上证明自己。Nowotny 警告说这种方法可能难以扩展到大型实际任务因为它仍然需要在数字计算机和芯片之间来回穿梭数据。长期目标是让神经网络自始至终在神经形态芯片上训练和运行根本不需要数字计算机。Nowotny 说但这需要构建新一代芯片这需要数年的时间。目前Zenke 和 schmmel 的团队很高兴地展示了神经网络算法可以处理神经形态硬件上模拟神经元之间的微小变化。“你可以依靠60或70年的经验和软件历史的数字计算,”Schemmel 说。“对于这种模拟计算我们必须自己一切从头开始。”[1] https://www.pnas.org/content/119/4/e2109194119原文链接https://www.quantamagazine.org/ai-overcomes-stumbling-block-on-brain-inspired-hardware-20220217/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
