著名的网站建设公司,做网站卖资料,WordPress怎么安装不了,qq炫舞开发公司乾明 安妮 发自 凹非寺量子位 出品 | 公众号 QbitAI70年来#xff0c; 人们在AI领域“一直连续犯着同样的错误”。这是“强化学习之父”理查德萨顿#xff08;Richard S. Sutton#xff09;为同行后辈们敲响的警钟。他在博客上发表最新文章《苦涩的教训》(The Bitter Lesson… 乾明 安妮 发自 凹非寺量子位 出品 | 公众号 QbitAI70年来 人们在AI领域“一直连续犯着同样的错误”。这是“强化学习之父”理查德·萨顿Richard S. Sutton为同行后辈们敲响的警钟。他在博客上发表最新文章《苦涩的教训》(The Bitter Lesson)总结了AI发展史上的怪圈人类不断试图把自己的知识和思维方式植入到AI之中比如用人类的思路教AI下棋、将让AI按照人类总结的思路来识别图像等等。这些做法能带来暂时的性能提升长期来看却会阻碍研究的持续进步。真正的突破总是来自完全相反的方向。摒弃人类在特定领域的知识、利用大规模算力的方法总会获得最终胜利。靠自我对弈磨炼围棋技艺的AlphaGo基于统计方法、深度学习来识别语音、图像的算法一次次击败先前那些浓缩了人类知识的AI甚至人类自己。搜索、学习充分利用大规模算力才是王道。用人类在特定领域的知识来提升AI智能体的能力都是在走弯路。萨顿说“将AI建立在我们对自身思维方式的认知上是行不通的。”OpenAI首席科学家Ilya Sutskever精辟地总结了萨顿的核心观点算力常胜。文章一发出就引发了热烈的讨论OpenAI CTO Greg Brockman、特斯拉AI总监Andrej Karpathy等人都在转发附议。DeepMind机器学习团队主管牛津大学教授Nando de Freitas甚至称之为“周末必读”。然而也有反对的声音。牛津大学计算机系教授希蒙·怀特森Shimon Whiteson连发13条Twitter反驳萨顿的观点表示“坚决不同意”同样获得了大量支持。怀特森认为构建AI当然需要融入人类知识问题只在于该何时、如何、融入哪些知识。AI的历史进程是一场融入人类知识的胜利。科学家们广泛尝试抛弃失败的99%留下有用的1%。而这1%对现代人工智能算法成功的重要性不亚于萨顿推崇的大量计算资源。一场隔空论战就这样展开了。我们先读完“本周末必读”的萨顿博文看看正方的观点。苦涩的教训以下为萨顿博客完整全文经量子位翻译整理回溯70年的AI研究从中得出的最大经验是利用计算力的通用方法最终总是最有效的而且遥遥领先。出现这种情况的终极原因是摩尔定律或者宽泛一点来说是单位算力成本的持续指数级下降。大多数AI研究都以智能体可用算力恒定为前提进行在这种情况下利用人类知识可能是提升性能的唯一方法。但是将目光投向比一个典型研究项目更长远的时间段就会发现必然有更多可用的算力出现。为了寻求短期可见的提升研究人员会利用该领域的人类知识但从长远来看利用算力才是唯一重要的事。虽然但这两者看似没有必要相互对立但实际上它们往往是对立的。在一个方向上花费的时间就必然不能花在另一个方向。对于某一种方法的投入也会带来心理上的承诺。同时用人类知识来提升AI会倾向于使方法复杂化让运用算力的通用计算方法变得不太适用。很多AI研究人员后知后觉地领悟了这种“苦涩的教训”。回顾其中最重要的一些颇有启发。在国际象棋领域1997年击败国际象棋冠军卡斯帕罗夫的深蓝就是基于大规模深度搜索。当时大多数计算机国际象棋研究者都以沮丧的眼光看待它他们追求用人类对国际象棋特殊结构的理解制胜。当一种更简单的、有特殊硬件和软件加持的基于搜索的方法被证明更有效这些基于人类知识下国际象棋的研究者输得一点都“不体面”。他们说这种“用蛮力”的搜索可能这次能赢但这终究不是通用策略无论如何这也不是人类下棋的方式。他们希望基于人类输入的方法获胜却事与愿违只剩失望。计算机围棋领域研究进展也遵循着同样的模式只是比国际象棋迟了20年。这一领域最初的众多努力都是利用人类知识或游戏的特殊特性避免搜索然而搜索一被大规模高效应用这些努力都变得无关紧要甚至更糟。利用自我对弈来学习一种价值函数同样重要在许多其他游戏、甚至在国际象棋中也一样虽然在1997年的深蓝项目中没有发挥很大作用。通过自我对弈来学习以及学习本身其实都和搜索一样让大规模计算有了用武之地。搜索和学习是AI研究中应用大规模计算力的两类最重要技术。在计算机围棋和国际象棋项目中研究人员最初努力的方向是如何去利用人类的理解这样就不需要太多的搜索很久以后才通过拥抱搜索和学习取得了更大的成功。在语音识别领域很早之前曾有一场竞赛1970年由DARPA主办。在这场比赛中一部分参赛者运用那些需要人类知识单词知识、音素知识、人类声道知识等等的特殊方法。也有一部分人基于隐马尔可夫模型(HMMs)完成比赛。这种新方法本质上更具统计性质也需要更大的计算量。不出所料最终统计方法战胜了基于人类知识的方法。这场比赛为所有自然语言处理任务都带来了巨大的改变在过去的几十年里统计和算力逐渐占据主导地位。语音识别中兴起没多久的深度学习也是朝着这一方向迈出的最新一步。深度学习方法对人类知识的依赖甚至更少用到了更多的算力。通过在大型训练集上的学习能得到更好的语音识别系统。就像在棋类游戏中一样研究人员总是试图让系统按照他们心目中的人类的思维方式工作试图把这些知识放进计算机的系统里。但最终当摩尔定律带来大规模算力其他人也找到了一种充分利用它的方法时会发现原来的做法适得其反是对研究人员时间的巨大浪费。在计算机视觉领域也有类似的模式。早期的方法将视觉设想为搜索边缘、广义圆柱体或者SIFT算法捕捉的特征。但现在所有这些方法都被抛弃了。现代的深度学习神经网络只使用卷积和某些不变性的概念而效果要好得多。这些教训告诉我们AI这个领域我们仍然没有完全了解我们连续犯着同样的错误。为了认清状况有效防止犯错我们必须理解这些错误有什么吸引力。我们必须从这”苦涩的教训”中学习长远来看将AI建立在我们对自身思维方式的认知上是行不通的。“苦涩的教训”源自这些历史观察人工智能研究人员经常试图将知识“植入”到他们的智能体中这在短期内通常是有帮助的让研究者自身产生满足感但从长期来看这会拖慢、甚至阻碍研究的进一步发展而突破性进展最终会来自完全相反的方法基于搜索和学习进行规模计算。最终的成功总是带来些许怨恨通常也不被完全理解因为它超越了当前受欢迎的、以人为中心的方法。从历史的教训中我们能学到两点。第一通用型方法有强大的力量。即使可用的算力变得非常大这些方法仍然可以继续扩展运用增加的算力。似乎可以按照这种方式任意扩展的方法有两种搜索和学习。第二思维的实际内容复杂到非常可怕无可救药。我们不该再试图寻找简单的方法来思考其内容比如用简单的方式去思考空间、物体、多智能体或者对称性。所有这些都是随意、本质上非常复杂的外部世界的一部分。它们不应该内置在任何一个AI智能体中因为它们复杂得没有尽头。相反我们应该只构建能发现和捕获这种任意复杂性的元方法这种方法的本质是能够很好地找到近似值。不过寻找的工作应该交给我们的方法而不是我们自己。我们需要的是能像我们一样进行发现的AI智能体而不是包含我们已经发现的东西在内的AI。在我们发现的基础上建立AI只会让它更难看到发现的过程是如何进行的。原文链接http://www.incompleteideas.net/IncIdeas/BitterLesson.html“甜蜜的一课”坚决不同意萨顿观点的怀特森老师认为构建AI当然需要融入人类知识问题只在于该何时、如何、融入哪些知识。AI历史上有“甜蜜的一课”The Sweet Lesson我们在尝试寻找正确先验知识的过程中推动了AI的进步。他将萨顿的观点总结为“AI的历史告诉我们利用算力最终总是战胜利用人类知识。”以下是怀特森Twitter内容的翻译整理我认为这是对历史的一种特殊解释。的确很多把人类知识融入AI的努力都已经被抛弃随着其他资源不仅仅是计算力还包括存储、能源、数据的丰富还会抛弃更多。但是由此产生的方法的成功不能仅仅归功于这些丰富的资源其中那些没有被抛弃的人类知识也功不可没。要是想脱离卷积、LSTM、ReLU、批归一化batchnorm等等做深度学习祝你好运。要是抛开“围棋是静态、零和、完全可观察的”这一先验知识就像搞定这个游戏也祝你好运。所以AI的历史故事并非融入人类知识一直失败。恰恰相反这是融入人类知识的胜利实现的路径也正是一种完全符合惯例的研究策略尝试很多方法抛弃失败的99%。剩下的1%对现代人工智能的成功至关重要就和AI所以来的大量计算资源一样关键。萨顿说世界固有的复杂性表明我们不该把先验知识融入到系统中。但是我的观点恰恰相反正是这种复杂性导致他推崇的搜索和学习方法极度复杂难解。只有借助正确的先验知识正确的归纳偏见inductive biases我们才能掌握这种复杂性。他说“现代的深度学习神经网络只使用卷积和某些不变性的概念而效果要好得多。”一个“只”字就凸显了这种断言的武断性。如果没有这些卷积和不变性深度学习就不会成功但它们却被视作微小、通用到可以接受。就是这样“苦涩的教训”避开了主要问题这根本不是要不要引入人类知识的问题因为答案显然是肯定的而是该问这些知识是什么该在何时、如何使用它。萨顿说“我们需要的是能像我们一样进行发现的AI智能体而不是包含我们已经发现的东西在内的AI。”当然。但是我们善于发现正是因为我们天生带有正确的归纳偏见。AI历史上的“甜蜜一课”是这样的虽然找到正确的归纳偏见很难但寻找的过程为原本难解的问题带来了巨大的进展。原文链接https://twitter.com/shimon8282/status/1106534185693532160论战双方这场隔空论战的双方分别是“强化学习之父”萨顿和牛津大学计算机系教授希蒙·怀特森。都是强化学习领域的科学家观点却截然相反。强化学习之父萨顿萨顿被认为是现代计算强化学习的创始人之一为强化学习做出了许多贡献比如“时序差分学习”temporal difference learning和“策略梯度方法”policy gradient methods等等。1978年萨顿在斯坦福大学获得了心理学学士学位之后才转向计算机科学在马萨诸塞大学安姆斯特分校获得博士学位。他与导师Andrew Barto合著的《强化学习导论》一书已经成为强化学习研究领域的基础读物。目前萨顿任教于阿尔伯塔大学是计算机科学系的教授和 iCORE Chair领导强化学习和人工智能实验室。2017年6月萨顿加入Deepmind共同领导其位于加拿大埃德蒙顿的办公室同时保持他在阿尔伯塔大学的教授职位。2001年以来萨顿一直都是AAAI Fellow在2003年获得国际神经网络学会颁发的President’s Award并于2013年获得了马萨诸塞大学阿默斯特分校颁发的杰出成就奖。来自牛津大学的反对者怀特森希蒙·怀特森是牛津大学计算机系的教授专注于人工智能和机器学习领域。强化学习、让智能体跟着演示学习都是他所研究的课题。他2007年获得美国德克萨斯大学奥斯汀分校的计算机博士学位随后留校做了一段时间的博士后然后任教于阿姆斯特丹大学。2015年怀特森成为牛津大学副教授2018年成为教授。隔空论战你支持谁除了怀特森之外也有不少人对萨顿的观点表示不能完全同意。比如Nando de Freitas认为萨顿博文的最后一段非常正确、发人深省我们需要的是能像我们一样进行发现的AI智能体而不是包含我们已经发现的东西在内的AI。在我们发现的基础上建立AI只会让它更难看到发现的过程是如何进行的。但他也就着怀特森的观点谈了一些自己的想法算力非常重要特别是对强化学习智能体来说。然而卷积、LSTM这些概念都不是在研究规模化的过程中发明的。其他生物也和我们人类一样拥有强大的算力生活在同样的数据、环境但它们可没打算飞向火星。帝国理工学院教授、DeepMind高级研究员Murray Shanahan虽然支持不能人工手写特定领域的先验知识但还是认为“应该寻找有利于让AI学习这些常识类别的架构上的先验”。德克萨斯大学奥斯汀分校的助理教授Scott Niekum说他大致同意萨顿的观点但也有值得商榷的地方比如科学从来都不是一条直线很多最重要的发现可能就来自借助内建特定领域知识来研究那些不够通用的模型的过程。这个问题你怎么看未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
