东莞seo整站优化代理,自助建站整站源码,网站建设公司一年多少钱,澧县网站设计来源 | AI科技评论编译 | 陈彩娴编辑 | 陈大鑫在过去的十年里#xff0c;机器学习确实取得了巨大的突破#xff0c;计算机视觉与语言处理方面也因此出现了许多改变世界的重要应用。但是#xff0c;这股“春风”却没有吹到智能机器人领域。针对机器人学习所面临的瓶颈#x… 来源 | AI科技评论编译 | 陈彩娴编辑 | 陈大鑫在过去的十年里机器学习确实取得了巨大的突破计算机视觉与语言处理方面也因此出现了许多改变世界的重要应用。但是这股“春风”却没有吹到智能机器人领域。针对机器人学习所面临的瓶颈麻省理工学院机器人专家Leslie Pack Kaebling在《Science》上发表一篇名为《The foundation of efficient robot learning》的文章。她认为造成这一现象的一个关键因素在于机器人学习的数据只能通过在现实世界的操作中获得成本非常高昂。为此Leslie女士提出实现下一代机器人学习的技术革新需要应用新的算法、从自然体系中获取灵感并灵活使用多项机器学习技术。1强化学习是否真的那么灵尽管监督学习取得了许多重要的成果但在机器人学习领域强化学习RL更具有优势因为机器人要在人类世界中执行一系列不同的任务。在监督学习中学习算法被赋予输入与期望输出的配对示例并学会将输入与期望输出关联起来。而在强化学习中智能体能够根据事先设置的奖励信号来判断自己的表现是出色的或是差劲的进而选择恰当的行动方式这与机器人所应用的复杂环境有利相关。简而言之监督学习与强化学习的本质区别在于在强化学习里智能体的行为对数据产生重大影响并能控制自己的学习探索这对整体成功至关重要。在一开始RL是通过奖励和惩罚机制来学习动物行为的模型。之后如果应用RL处理现实世界里的问题那么RL必须拓展以处理巨大空间的输入和动作并且即使成功执行关键动作后奖励“姗姗来迟”RL也能维持正常运行状态。这时候便出现了深度强化学习DRL方法。DRL使用了神经网络来解决上述的现实问题并展现了惊人的性能比如机器人下国际象棋和围棋游戏以及用机器手臂3秒钟解出魔方。此外RL也带来了许多实用性强的应用比如提高安装计算机的能效。 有了这些成功的机器人案例后人们自然而然便会想象在物理世界中RL是否会完全取代以往运用在机器人身上的传统工程方法和其他行为复杂的系统呢从技术层面上看这种想象是荒谬的。我们可以想象一个专门帮助老人料理家务的机器人在“上岗”之前机器人必须先具备大量知识与能力同时还需要在工作中学习新的知识、不断积累工作经验。后者的学习必须是样本高效的需要相对较少的训练示例、可泛化的适用于特定学习以外的其他情况、组合性的能与以往的知识相结合和增量式的能够随着时间的推移增加新知识和新能力。但是现有的DRL方法都不具备以上特性。虽然它们可以学习许多令人震惊的新技能但总的来说它们无法将所积累的大量经验很好地泛化至其他方面且在训练与执行的过程中表现单一比如既没有增长新的知识也没有组合以往的经验。如何能使一个智能系统同时具有样本高效性、泛化性、组合性和增量性呢经证明现代神经网络能有效处理插值问题。如果有大量参数神经网络能够牢记训练数据并在相似的示例上做出可靠预测。我们可以通过内置知识或结构的形式向学习算法赋予“归纳偏置”inductive bias进而获取泛化能力。比方说在拥有归纳偏置的自动驾驶系统中系统的刹车方案只需要参考在规定距离范围内的其他车辆的位置。该系统的知识能从相对较少的示例中获取因为良好拟合观察数据的可选解决方案有限。总体而言归纳偏置能够提高样本高效性和泛化能力。组合性和增量性则可以通过搭建有特定结构的归纳偏置模型来获得在这个模型里通过学习获得的“知识”被分解成具有独立语义的的因子factor这些因子可以组合起来解决大量的新问题。2如何巧妙建立归纳偏置基于先验知识或结构的观点不一定是“真知灼见”。强化学习领域的先驱者Richard Sutton坚信人类不应该将任何先验知识构容纳到学习系统中因为纵观历史这种做法往往是错的。Richard Sutton的文章引起了强烈的反响并指明了学习系统设计中的一个关键问题在学习系统中建立什么样的归纳偏置才能使系统具有从大量数据中学习可泛化知识、又不会因为数据不正确或过约束而失灵呢目前有两种设置恰当偏置的方法。这两种方法具有连贯性但具有不同的时间范围和权衡取舍trade-offs可以同时应用于寻找学习智能体所需的强大而灵活的先验结构。方法1在“元”层面运用机器学习技术这种方法指的是在系统设计阶段离线使用机器学习技术来发现能提高智能体在线学习效率的结构、算法和先验知识。元学习的基本概念至少从上世纪80年代在机器学习和统计学中出现基本思路是在系统设计阶段元学习过程便能访问系统在线学习时可能面临的许多潜在任务或环境的样本。元学习器的目的不在于掌握适应单个环境的多种策略或适用于全部环境的单项策略而是掌握一种在线学习时面临新任务或新环境时也尽可能高效学习的算法。这个目标可以通过在训练任务间引入共性并使用这些共性形成有力的先验或归纳偏置使在线学习的智能体只学习那些将新任务与训练任务区分开来的方面。元学习可以非常出色地形式化为一种分层的贝叶斯概率推理。在这种推理形式中训练任务可以看作是在提供在线学习的任务会如何表现的证据并基于这些证据利用好在线学习所获得的数据。但是贝叶斯形式在计算上可能很难实现因为它是对系统设计阶段中所遇到的大量任务进行推理其中也可能包含在线学习的实际任务。方法2将元学习明确地描述为两个嵌套的优化问题内部优化在线进行指的是智能体试图从系统设计阶段生成的一系列假设中找到在线学习数据中“得分”最佳的假设。内部优化的特色在于假设空间、评分标准和将用于搜索最佳假设的计算机算法。在传统的机器学习中这些成分由人类工程师提供。但在元学习中至少一部分是由系统设计阶段进行的外部“元”优化过程所提供的。元优化试图找到内部学习过程本身的参数。这些参数能使学习在与元学习的环境相似的新环境中进行源于相同的分布。最近有研究介绍了一种新的元学习形式叫做“与模型无关的元学习”model-agnostic meta-learningMAML。MAML是一个嵌套的优化框架其中外部优化选择的是一些内部神经网络权重的初始值能通过在线学习的标准梯度下降优化方法进一步调整。RL2算法在系统设计阶段中使用DRL来学习在线学习运行的一般小型程序但这些小型程序不一定具有机器学习程序的形式。另一个变体试图在系统设计阶段发现可以组合起来以解决在线学习出现的问题的模块构造块modular building blocks如小型神经网络。自然界中的进化过程可以被认为是元学习的一种极端形式。在自然进化中自然界会为了动物去寻找一个含有潜在学习算法的、极其不受限制的空间。当然从本质上讲智能体的生理状况也会发生改变。在机器人生命周期内对内部优化问题的处理越灵活越需要更多用于提高鲁棒性的资源包括系统设计阶段的示例环境、在线学习的性能不佳的机器人以及在两个阶段运行的计算容量。 这时候我们又回到最初的问题标准的强化学习方法不会被采用因为尽管它是一种通用的学习方法但它需要大量的在线学习经验。然而元强化学习meta-RL需要丰富的系统设计经验这可能会使开发过程变得迟钝、缓慢而花费高昂。因此也许元学习也不是一个好的解决方法。那还有什么解决方法呢有很多方向可以探索包括人类教学、与其他机器人协作学习以及更改机器人的硬件和软件。在所有这些情况下关键的一步还是设计出有效的方法来开发机器人软件。通过运用从计算机科学和工程学中所获得的见识以及认知神经科学的启发我们可以找到能够内置到学习智能体中的算法和结构并提供在系统设计阶段和在线学习算法和结构的杠杆。卷积神经网络的发展是上述方法的典型例子。卷积神经网络的理念是设计出一种用于图像处理的神经网络以使其执行“卷积”即在整个图像上使用相同的计算模式对图像块进行局部处理。这个设计同时对先验知识进行了编码。在此处先验知识指的是无论物体处于图像中的什么位置物体都具有基本相同的外观平移不变性以及接近的像素组共享图像内容的信息空间局部性。与没有卷积结构的情况相比以这种方式训练一个神经网络意味着需要的参数数量更少因此训练次数也相应减少。图像卷积的点子由工程师和自然启发是早期信号处理和计算机视觉的基础概念。一直以来人们都认为哺乳动物视觉皮层中的细胞似乎也在执行类似的计算。3总结由此可见发现更多能为机器人学习提供实质性的杠杆作用、又不会阻止机器人进行一般智能行为的基本结构或算法约束比如卷积是非常重要的一步。现在也有一些不错的解决方法比如说一用有行动效应的“心理模型”来进行某种形式的正向搜索类似于规划或推理二学习并表示从单个对象中提取、但可以广泛应用的知识比如对所有的A和B而言如果A在B之上移动B时A可能也会移动三对三维空间进行推理包括在三维空间内规划和执行动作、将三维空间作为存储的组织原理。此外我们也许还需要更多可能有效的原理也需要解决许多其他问题包括如何开发能同时在系统设计阶段和在线进行训练的基础设施还有帮助人类明确奖励和维系安全的方法。综合考虑工程原理、生物学灵感、系统设计阶段学习以及最终的在线学习人类最终才有可能打造出类人的智能机器人。原文链接https://science.sciencemag.org/content/369/6506/915未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
