wpf做的网站,肇庆网站制作策划,网站建设高级 上海,宁波行业网站建设来源#xff1a;ACM编辑#xff1a;Priscilla Emil2018年#xff0c;ACM#xff08;国际计算机学会#xff09;决定将计算机领域的最高奖项图灵奖颁给Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton#xff0c;以表彰他们在计算机深度学习领域的贡献。这也是图灵奖第三次… 来源ACM编辑Priscilla Emil2018年ACM国际计算机学会决定将计算机领域的最高奖项图灵奖颁给Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton以表彰他们在计算机深度学习领域的贡献。这也是图灵奖第三次同时颁给三位获奖者。 用于计算机深度学习的人工神经网络在上世纪80年代就已经被提出但是在当时科研界由于其缺乏理论支撑且计算力算力有限导致其一直没有得到相应的重视。 是这三巨头一直在坚持使用深度学习的方法并在相关领域进行了深入研究。通过实验发现了许多惊人的成果并为证明深度神经网络的实际优势做出了贡献。所以说他们是深度学习之父毫不夸张。 在AI界当Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton 这三位大神同时出场的时候一定会有什么大事发生。 最近深度学习三巨头受ACM通讯杂志之邀共同针对深度学习的话题进行了一次深度专访提纲挈领地回顾了深度学习的基本概念、最新的进展以及未来的挑战。 广大的AI开发者们看了高人指点之后是不是对于未来之路更加明晰了下面我们来看看他们都聊了些什么。深度学习的兴起 在2000年代早期深度学习引入的一些元素让更深层的网络的训练变得更加容易也因此重新激发了神经网络的研究。 GPU和大型数据集的可用性是深度学习的关键因素也得到了具有自动区分功能、开源、灵活的软件平台如Theano、Torch、Caffe、TensorFlow等的增强作用。训练复杂的深度网络、重新使用最新模型及其构建块也变得更加容易。而更多层网络的组合允许更复杂的非线性在感知任务中取得了意料之外的结果。深度学习深在哪里有人认为更深层次的神经网络可能更加强大而这种想法在现代深度学习技术出现之前就有了。但是这样的想法其实是由架构和训练程序的不断进步而得来的并带来了与深度学习兴起相关的显著进步。 更深层的网络能够更好地概括「输入-输出关系类型」而这不仅只是因为参数变多了。深度网络通常比具有相同参数数量的浅层网络具有更好的泛化能力。例如时下流行的计算机视觉卷积网络架构类别是ResNet系列其中最常见的是ResNet-50有50层。 图源知乎臭咸鱼 深度网络之所以能够脱颖而出是因为它利用了一种特定形式的组合性其中一层的特征以多种不同的方式组合这样在下一层就能够创建更多的抽象特征。 无监督的预训练。当标记训练示例的数量较小执行任务所需的神经网络的复杂性也较小时能够使用一些其他信息源来创建特征检测器层再对这些具有有限标签的特征检测器进行微调。在迁移学习中信息源是另一种监督学习任务具有大量标签。但是也可以通过堆叠自动编码器来创建多层特征检测器无需使用任何标签。线性整流单元的成功之谜。早期深度网络的成功是因为使用了逻辑sigmoid非线性函数或与之密切相关的双曲正切函数对隐藏层进行无监督的预训练。 长期以来神经科学一直假设线性整流单元并且已经在 RBM 和卷积神经网络的某些变体中使用。让人意想不到的是人们惊喜地发现非线性整流通过反向传播和随机梯度下降让训练深度网络变得更加便捷无需进行逐层预训练。这是深度学习优于以往对象识别方法的技术进步之一。 语音和物体识别方面的突破。声学模型将声波转换为音素片段的概率分布。Robinson、Morgan 等人分别使用了晶片机和DSP芯片他们的尝试均表明如果有足够的处理能力神经网络可以与最先进的声学建模技术相媲美。 2009年两位研究生使用 NVIDIA GPU 证明了预训练的深度神经网络在 TIMIT 数据集上的表现略优于 SOTA。这一结果重新激起了神经网络中几个主要语音识别小组的兴趣。2010 年在不需要依赖说话者训练的情况下基本一致的深度网络能在大量词汇语音识别方面击败了 SOTA 。2012 年谷歌显着改善了 Android 上的语音搜索。这是深度学习颠覆性力量的早期证明。 大约在同一时间深度学习在 2012 年 ImageNet 竞赛中取得了戏剧性的胜利在识别自然图像中的一千种不同类别的物体时其错误率几乎减半。这场胜利的关键在于李飞飞及其合作者为训练集收集了超过一百万张带标签的图像以及Alex Krizhevsky 对多个 GPU 的高效使用。 深度卷积神经网络具有新颖性例如ReLU能加快学习dropout能防止过度拟合但它基本上只是一种前馈卷积神经网络Yann LeCun 和合作者多年来一直都在研究。 计算机视觉社区对这一突破的反应令人钦佩。证明卷积神经网络优越性的证据无可争议社区很快就放弃了以前的手工设计方法转而使用深度学习。 深度学习近期的主要成就三位大神选择性地讨论了深度学习的一些最新进展如软注意力soft attention和Transformer 架构。 深度学习的一个重大发展尤其是在顺序处理方面是乘法交互的使用尤其是软注意力的形式。这是对神经网络工具箱的变革性补充因为它将神经网络从纯粹的矢量转换机器转变为能够动态选择对哪些输入进行操作的架构并且将信息存储在关联存储器中。这种架构的关键特性是它们能有效地对不同类型的数据结构进行操作。 软注意力可用于某一层的模块可以动态选择它们来自前一层的哪些向量从而组合计算输出。这可以使输出独立于输入的呈现顺序将它们视为一组或者利用不同输入之间的关系将它们视为图形。Transformer 架构已经成为许多应用中的主导架构它堆叠了许多层“self-attention”模块。同一层中对每个模块使用标量积来计算其查询向量与该层中其他模块的关键向量之间的匹配。匹配被归一化为总和1然后使用产生的标量系数来形成前一层中其他模块产生的值向量的凸组合。结果向量形成下一计算阶段的模块的输入。模块可以是多向的以便每个模块计算几个不同的查询、键和值向量从而使每个模块有可能有几个不同的输入每个输入都以不同的方式从前一阶段的模块中选择。在此操作中模块的顺序和数量无关紧要因此可以对向量集进行操作而不是像传统神经网络中那样对单个向量进行操作。例如语言翻译系统在输出的句子中生成一个单词时可以选择关注输入句子中对应的一组单词与其在文本中的位置无关。 未来的挑战深度学习的重要性以及适用性在不断地被验证并且正在被越来越多的领域采用。对于深度学习而言提升它的性能表现有简单直接的办法——提升模型规模。 通过更多的数据和计算它通常就会变得更聪明。比如有1750亿参数的GPT-3大模型但相比人脑中的神经元突触而言仍是一个小数目相比只有15亿参数的GPT-2而言就取得了显著的提升。 但是三巨头在讨论中也透露到对于深度学习而言仍然存在着靠提升参数模型和计算无法解决的缺陷。 比如说与人类的学习过程而言如今的机器学习仍然需要在以下几个方向取得突破 1、监督学习需要太多的数据标注而无模型强化学习又需要太多试错。对于人类而言像要学习某项技能肯定不需要这么多的练习。2、如今的系统对于分布变化适应的鲁棒性比人类差的太远人类只需要几个范例就能够快速适应类似的变化。3、如今的深度学习对于感知而言无疑是最为成功的也就是所谓的系统1类任务如何通过深度学习进行系统2类任务则需要审慎的通用步骤。在这方面的研究令人期待。 在早期机器学习的理论学家们始终关注于独立相似分布假设也就是说测试模型与训练模型服从相同的分布。而不幸的是在现实世界中这种假设并不成立比如说由于各种代理的行为给世界带来的变化就会引发不平稳性又比如说总要有新事物去学习和发现的学习代理其智力的界限就在不断提升。 所以现实往往是即便如今最厉害的人工智能从实验室投入到实际应用中时其性能仍然会大打折扣。 所以三位大神对于深度学习未来的重要期待之一就是当分布发生变化时能够迅速适应并提升鲁棒性所谓的不依赖于分布的泛化学习从而在面对新的学习任务时能够降低样本数量。 如今的监督式学习系统相比人类而言在学习新事物的时候需要更多的事例而对于无模型强化学习而言这样的情况更加糟糕——因为相比标注的数据而言奖励机制能够反馈的信息太少了。 所以我们该如何设计一套全新的机械学习系统能够面对分布变化时具备更好的适应性呢 从同质层到代表实体的神经元组 如今的证据显示相邻的神经元组可能代表了更高级别的向量单元不仅能够传递标量而且能够传递一组坐标值。这样的想法正是胶囊架构的核心在单元中的元素与一个向量相关联从中可以读取关键向量、数值向量有时也可能是一个查询向量。 适应多个时间尺度 大多数神经网络只有两个时间尺度权重在许多示例中适应得非常慢而行为却在每个新输入中对于变化适应得非常快速。通过添加快速适应和快速衰减的“快速权重”的叠加层则会让计算机具备非常有趣的新能力。 尤其是它创建了一个高容量的短期存储可以允许神经网络执行真正的递归其中相同的神经元可以在递归调用中重复使用因为它们在更高级别调用中的活动向量可以重建稍后使用快速权重中的信息。 多时间尺度适应的功能在元学习meta-learning中正在逐渐被采纳。更高层次的认知 在考虑新的任务时例如在具有不一样的交通规则的城市中驾驶甚至想象在月球上驾驶车辆时我们可以利用我们已经掌握的知识和通用技能并以新的方式动态地重新组合它们。 但是当我们采用已知的知识来适应一个新的设置时如何避免已知知识对于新任务带来的噪音干扰开始步骤可以采用Transformer架构和复发独立机制Recurrent Independent Mechanisms。 对于系统1的处理能力允许我们在计划或者推测时猜测潜在的好处或者危险。但是在更高级的系统级别上可能就需要AlphaGo的蒙特卡罗树搜索的价值函数了。 机械学习依赖于归纳偏差或者先验经验以鼓励在关于世界假设的兼容方向上学习。系统2处理处理的性质和他们认知的神经科学理论提出了几个这样的归纳偏差和架构可以来设计更加新颖的深度学习系统。那么如何训练神经网络能够让它们发现这个世界潜在的一些因果属性呢 在20世纪提出的几个代表性的AI研究项目为我们指出了哪些研究方向显然这些AI项目都想要实现系统2的能力比如推理能力、将知识能够迅速分解为简单的计算机运算步骤并且能够控制抽象变量或者示例。这也是未来AI技术前进的重要方向。 听完三位的探讨大家是不是觉得在AI之路上光明无限呢参考资料https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
