华为云建站怎么样,邢台建网站公司,门户类网站注重什么,wordpress编辑分段来源#xff1a;知乎问题深度学习是近年来人工智能热潮的原因#xff0c;它的出现在很多方面都作出了突破#xff0c;包括在图像、NLP以及语音等领域都有很多问题取得很大的突破#xff0c;但它目前也存在一些问题和瓶颈需要解决。量子位https://www.zhihu.com/question/40… 来源知乎问题深度学习是近年来人工智能热潮的原因它的出现在很多方面都作出了突破包括在图像、NLP以及语音等领域都有很多问题取得很大的突破但它目前也存在一些问题和瓶颈需要解决。量子位https://www.zhihu.com/question/40577663/answer/729741077一片欣欣向荣背后深度学习在计算机视觉领域的瓶颈已至。提出这个观点的不是外人正是计算机视觉奠基者之一约翰霍普金斯大学教授Alan Yuille他还是霍金的弟子。他说现在做AI不提神经网络成果都很难发表了这不是个好势头。如果人们只追神经网络的潮流抛弃所有老方法如果人们只会刷榜不去想怎样应对深度网络的局限性这个领域可能很难有更好的发展。面对深度学习的三大瓶颈Yuille教授给出两条应对之道靠组合模型培养泛化能力用组合数据测试潜在的故障。观点发表之后引发不少的共鸣。Reddit话题热度快速超过200学界业界的AI科学家们也纷纷在Twitter上转发。Reddit网友评论道以Yuille教授的背景他比别人更清楚在深度学习在计算机视觉领域现状如何为什么出现瓶颈。深度学习的三大瓶颈Yuille指出深度学习虽然优于其他技术但它不是通用的经过数年的发展它的瓶颈已经凸显出来主要有三个需要大量标注数据深度学习能够实现的前提是大量经过标注的数据这使得计算机视觉领域的研究人员倾向于在数据资源丰富的领域搞研究而不是去重要的领域搞研究。虽然有一些方法可以减少对数据的依赖比如迁移学习、少样本学习、无监督学习和弱监督学习。但是到目前为止它们的性能还没法与监督学习相比。过度拟合基准数据深度神经网络在基准数据集上表现很好但在数据集之外的真实世界图像上效果就差强人意了。比如下图就是一个失败案例。一个用ImageNet训练来识别沙发的深度神经网络如果沙发摆放角度特殊一点就认不出来了。这是因为有些角度在ImageNet数据集里很少见。在实际的应用中 如果深度网络有偏差将会带来非常严重的后果。要知道用来训练自动驾驶系统的数据集中基本上从来没有坐在路中间的婴儿。对图像变化过度敏感深度神经网络对标准的对抗性攻击很敏感这些攻击会对图像造成人类难以察觉的变化但可能会改变神经网络对一个物体的认知。而且神经网络对场景的变化也过于敏感。比如下面的这张图在猴子图片上放了吉他等物体神经网络就将猴子识别成了人类吉他识别成了鸟类。背后的原因是与猴子相比人类更有可能携带吉他与吉他相比鸟类更容易出现在丛林中。这种对场景的过度敏感原因在于数据集的限制。对于任何一个目标对象数据集中只有有限数量的场景。在实际的应用中神经网络会明显偏向这些场景。对于像深度神经网络这样数据驱动的方法来说很难捕捉到各种各样的场景以及各种各样的干扰因素。想让深度神经网络处理所有的问题似乎需要一个无穷大的数据集这就给训练和测试数据集带来了巨大的挑战。为什么数据集会不够大这三大问题还杀不死深度学习但它们都是需要警惕的信号。Yuille说瓶颈背后的原因就是一个叫做“组合爆炸”的概念就说视觉领域真实世界的图像从组合学观点来看太大量了。任何一个数据集不管多大都很难表达出现实的复杂程度。那么组合学意义上的大是个什么概念大家想象一下现在要搭建一个视觉场景你有一本物体字典要从字典里选出各种各样的物体把它们放到不同的位置上。说起来容易但每个人选择物体、摆放物体的方法都不一样搭出的场景数量是可以指数增长的。就算只有一个物体场景还是能指数增长。因为它可以用千奇百怪的方式被遮挡物体所在的背景也有无穷多种。人类的话能够自然而然适应背景的变化但深度神经网络对变化就比较敏感了也更容易出错△ 是的前面出现过了也不是所有视觉任务都会发生组合爆炸 (Combinatorial Explosion) 。比如医学影像就很适合用深度网络来处理因为背景少有变化比如胰腺通常都会靠近十二指肠。但这样的应用并不常见复杂多变的情况在现实中更普遍。如果没有指数意义上的大数据集就很难模拟真实情况。而在有限的数据集上训练/测试出来的模型会缺乏现实意义因为数据集不够大代表不了真实的数据分布。那么就有两个新问题需要重视1、怎样在有限的数据集里训练才能让AI在复杂的真实世界里也有很好的表现2、怎样在有限的数据集里高效地给算法做测试才能保证它们承受得了现实里大量数据的考验组合爆炸如何应对数据集是不会指数型长大的所以要试试从别的地方突破。可以训练一个组合模型培养泛化能力。也可以用组合数据来测试模型找出容易发生的故障。总之组合是关键。训练组合模型组合性 (Compositionality) 是指一个复杂的表达它的意义可以通过各个组成部分的意义来决定。这里一个重要的假设就是一个结构是由许多更加基本的子结构分层组成的背后有一些语法规则。这就表示AI可以从有限的数据里学会那些子结构和语法再泛化到各种各样的情景里。与深度网络不同组合模型 (Compositional Models) 需要结构化的表示方式才能让结构和子结构更明确。组合模型的推断能力可以延伸到AI见过的数据之外推理、干预、诊断以及基于现有知识结构去回答不同的问题。引用Stuart German的一句话The world is compositional or God exists.虽然深度神经网络也有些组合性高级特征是由低级特征的响应组成的但在本文所讨论的意义上深度神经网络并不是组合性的。组合模型的优点已经在许多视觉任务里面体现了比如2017年登上Science的、用来识别CAPTCHA验证码的模型。还有一些理论上的优点比如可解释以及可以生成样本。这样一来研究人员就更加容易发现错误在哪而不像深度神经网络是个黑盒谁也不知道里面发生了什么。但要学习组合模型并不容易。因为这里需要学习所有的组成部分和语法还有如果要通过合成 (Synthesis) 来作分析就需要有生成模型 (Generative Models) 来生成物体和场景结构。就说图像识别除了人脸、字母等等少数几种很有规律的图案之外其他物体还很难应付从根本上说要解决组合爆炸的问题就要学习3D世界的因果模型 (Causal Models) 以及这些模型是如何生成图像的。有关人类婴儿的研究显示他们是通过搭建因果模型来学习的而这些模型可以预测他们生活环境的结构。对因果关系的理解可以把从有限数据里学到的知识有效扩展到新场景里去。在组合数据里测试模型训练过后该测试了。前面说过世界那么复杂而我们只能在有限的数据上测试算法。要处理组合数据 (Combinatorial Data) 博弈论是一种重要的方法它专注于最坏情况 (Worst Case) 而不是平均情况 (Average Case) 。就像前面讨论过的那样如果数据集没有覆盖到问题的组合复杂性用平均情况讨论出的结果可能缺乏现实意义。而关注最坏情况在许多场景下都是有意义的比如自动驾驶汽车的算法比如癌症诊断的算法。因为在这些场景下算法故障可能带来严重的后果。如果能在低维空间里捕捉到故障模式 (Failure Modes) 比如立体视觉的危险因子 (Hazard Factors) 就能用图形和网格搜索来研究这些故障。但是对于大多数视觉任务特别是那些涉及组合数据的任务通常不会有能找出几个危险因子、隔离出来单独研究的简单情况。△ 对抗攻击稍稍改变纹理只影响AI识别不影响人类有种策略是把标准对抗攻击 (Adversarial Attacks) 的概念扩展到包含非局部结构(Non-Local Structure) 支持让图像或场景发生变化的复杂运算比如遮挡比如改变物体表面的物理性质但不要对人类的认知造成重大改变。把这样的方法应用到视觉算法上还是很有挑战性的。不过如果算法是用组合性 (Compositional) 的思路来写清晰的结构可能会给算法故障检测带来很大的帮助。关于Alan YuilleAlan Yuille目前就职于约翰霍普金斯大学是认知科学和计算机科学的杰出教授。1976年在剑桥大学数学专业获得学士学位。之后师从霍金在1981年获得理论物理博士学位。毕业之后转而开拓计算机视觉领域。并先后就职于麻省理工学院的人工智能实验室哈佛大学计算机系等等学术机构。2002年加入UCLA之后担任视觉识别与机器学习中心主任同时也在心理学系计算机系精神病学和生物行为学系任客座教授。2016年加入约翰霍普金斯大学。他曾获得ICCV的最佳论文奖2012年担任计算机视觉顶级会议CVPR的主席计算机视觉界的奠基人之一。此外Alan Yuille也直接影响了中国AI的发展其嫡系弟子朱珑博士学成后回国创办了AI公司依图科技现在也是中国CV领域最知名的创业公司之一。这篇文章中的观点出自Yuille在2018年5月发表的一篇论文共同作者是他的博士生Chenxi Liu在今年一月份他们对这篇论文进行了更新。论文传送门Deep Nets: What have they ever done for Vision?mileistonehttps://www.zhihu.com/question/40577663/answer/309571753因为我对计算机视觉比较熟就从计算机视觉的角度说一下自己对深度学习瓶颈的看法。一、深度学习缺乏理论支撑大多数文章的 idea 都是靠直觉提出来的背后的很少有理论支撑。通过实验验证有效的 idea不一定是最优方向。就如同最优化问题中的 sgd 一样每一个 step 都是最优但从全局来看却不是最优。没有理论支撑的话计算机视觉领域的进步就如同 sgd 一样虽然有效但是缓慢如果有了理论支撑计算机视觉领域的进步就会像牛顿法一样有效且迅猛。CNN 模型本身有很多超参数比如设置几层每一层设置几个 filter每个 filter 是 depth wise 还是 point wise还是普通 convfilter 的 kernel size 设置多大等等。这些超参数的组合是一个很大的数字如果只靠实验来验证几乎是不可能完成的。最后只能凭直觉试其中一部分组合因此现在的 CNN 模型只能说效果很好但是绝对还没达到最优无论是效果还是效率。以效率举例现在 resnet 效果很好但是计算量太大了效率不高。然而可以肯定的是 resnet 的效率可以提高因为 resnet 里面肯定有冗余的参数和冗余的计算只要我们找到这些冗余的部分并将其去掉效率自然提高了。一个最简单而且大多人会用的方法就是减小各层 channel 的数目。如果一套理论可以估算模型的 capacity一个任务所需要模型的 capacity。那我们面对一个任务的时候使用capacity 与之匹配的模型就能使得效果好效率优。二、领域内越来越工程师化思维因为深度学习本身缺乏理论深度学习理论是一块难啃的骨头深度学习框架越来越傻瓜化各种模型网上都有开源实现现在业内很多人都是把深度学习当乐高用。面对一个任务把当前最好的几个模型的开源实现 git clone 下来看看这些模型的积木搭建说明书也就是论文思考一下哪块积木可以改一改积木的顺序是否能调换一样加几个积木能不能让效果更好减几个积木能不能让效率更高等等。思考了之后实验跑起来实验效果不错文章发起来实验效果不如预期重新折腾一遍。这整个过程非常的工程师化思维基本就是凭感觉 trial and error深度思考缺位。很少有人去从理论的角度思考模型出了什么问题针对这个问题模型应该做哪些改进。举一个极端的例子一个数据实际上是一次函数但是我们却总二次函数去拟合发现拟合结果不好再用三次函数拟合三次不行四次再不行就放弃。我们很少思考这个数据是啥分布针对这样的分布有没有函数能拟合它如果有哪个函数最合适。深度学习本应该是一门科学需要用科学的思维去面对她这样才能得到更好的结果。三、对抗样本是深度学习的问题但不是深度学习的瓶颈我认为对抗样本虽然是深度学习的问题但并不是深度学习的瓶颈。机器学习中也有对抗样本机器学习相比深度学习有着更多的理论支撑依然没能把对抗样本的问题解决。之所以我们觉得对抗样本是深度学习的瓶颈是因为图像很直观当我们看到两张几乎一样的图片最后深度学习模型给出两种完全不一样的分类结果这给我们的冲击很大。如果修改一个原本类别是A的feature中某个元素的值然后使得svm的分类改变为B我们会觉得不以为然“你改变了这个feature中某个元素的值它的分类结果改变很正常啊”。PENG Bohttps://www.zhihu.com/question/40577663/answer/413331053个人认为当前深度学习的瓶颈可能在于 scaling。是的你没有听错。我们已经有海量的数据海量的算力但我们却难以训练大型的深度网络模型GB 到 TB 级别的模型因为 BP 难以大规模并行化。数据并行不够用模型并行后加速比就会大打折扣。即使在加入诸多改进后训练过程对带宽的要求仍然太高。这就是为什么 nVidia 的 DGX-2 只有 16 块 V100但就是要卖到 250 万。因为虽然用少得多的钱就可以凑出相同的总算力但很难搭出能高效运用如此多张显卡的机器。而且 DGX-2 内部的 GPU 也没有完全互联又例如 AlphaGo Zero 的训练实际用于训练的只是很少的 TPU。即使有几千几万张 TPU也并没有办法将他们高效地用于训练网络。如果什么时候深度学习可以无脑堆机器就能不断提高训练速度就像挖矿可以堆矿机从而可以用超大规模的多任务网络学会 PB EB 级别的各类数据那么所能实现的效果很可能会是令人惊讶的。那么我们看现在的带宽List of interface bit rates2011年出了PCI-E 3.0 x16是 15.75 GB/s现在消费级电脑还是这水平4.0还是没出来不过可能是因为大家没动力游戏对带宽要求没那么高。NVLink 2.0是 150 GB/s对于大型并行化还是完全不够的。大家可能会说带宽会慢慢提上来的。很好那么这就来到了最奇怪的问题我想这个问题值得思考AI芯片花了这么大力气还是带宽受限那么人脑为何没有受限于带宽我的想法是人脑的并行化做得太好了因此神经元之间只需要kB级的带宽。值得AI芯片和算法研究者学习。人脑的学习方法比BP粗糙得多所以才能这样大规模并行化。人脑的学习方法是去中心化的个人认为更接近 energy-based 的方法。人脑的其它特点用现在的迁移学习多任务学习持续学习已经可以模仿。人脑还会用语言辅助思考。如果没有语言人脑也很难快速学会复杂的事情。稍后我还会再进一步写写这个问题欢迎大家探讨和指正。匿名用户https://www.zhihu.com/question/40577663/answer/311095389计算图越来越复杂设计越来越反直觉。Dropout/BN/Residual 这些创新也好 trick 也罢至少能编一个有眉有颜的直观解释糊弄一下在截然不同的场景和任务下也有成功的应用。去年这种级别的新的好用的 trick 基本没见着。炼丹师的人口越来越庞大通用性的 trick 却没有被发掘出来说明领域已经到了一个瓶颈好摘的桃子已经被摘光了。结构的潜力已经被挖光了么还是我们没有找到更具有通用性和代表性的任务来作为新的trick的温床这些都是DL研究需要回答的问题。现在看起来形式并不乐观传统的DL研究依赖的改几根线多加几个layer针对一个特定任务跑个分的范式现在要发出高质量的paper是越来越困难了。个人的看法是如果DL想要真正带上人工智能的帽子那就要去做智能改干的事情现在人为的按照应用场景分成NLP/CV/ASR粗暴的去拟合终究有上限和人类获得智能的方式也并没有共同点。Geek Anhttps://www.zhihu.com/question/40577663/answer/225444017现在的问题还没有到伦理这一步能不能实现出强AI都是个未知数。还是简单说下深度学习以及可能的强AI涉及到的问题吧深度学习能做的不错的大样本下的有监督训练1. CV一些子领域人脸识别疾病分类受限分类下的识别等都做的不错NLP文本分类、tagging、实体链接、翻译等都做的还不错逐渐逼近人类专家水准了但还没法超越推荐系统没法和人类比但套个DL基本效果都还看的过去其他领域语音搜索引擎广告等深度学习做的不算好的大部分问题的冷启动仍然需要大量样本才有效单领域不同样本表达形态的知识迁移如文本长度不同较为敏感多领域的知识迁移文字语音视频复杂问题的深度强化学习1. 如星际争霸等严谨的推导能力总结归纳能力1. 文本摘要阅读理解举一反三能力1. GAN在刷的各个领域只能说图像现在做的还不错但还没见有商用点实现强人工智能要做什么从现在看其实就是上面说的几点记忆能够学习海量信息互联网、物联网中的知识并加以有效的存储总结能够总结归纳海量信息中的知识得出一般性规律生成能够通过知识或规律举一反三生成更多的类似的知识、规律推导能够通过知识或规律得到更深入的、符合目标的知识或规律这四点就是核心难点比较抽象也没那么容易每一点估计都要N年来解决它们都可以用上深度学习但肯定都不是简单设计个graph就可以搞定的# UPDATE最后笔者送大家一张图说明现在的NLP领域强AI的来源的现况可以看出有许多应用在过去的五年内已经得到了很好的解决还有不少应用并未成熟成熟周期在下个5~10年间也可能由于开源世界的效率变高而加快。不管如何强AI在我眼中已经看到了一丝光明了。何之源https://www.zhihu.com/question/40577663/answer/224656397简单说点自己的想法。在我看来目前绝大多数深度学习模型不管神经网络的构建如何复杂其实都是在做同样一件事用大量训练数据去拟合一个目标函数 yf(x)。x和y其实就是模型的输入和输出例如图像分类问题。此时x一般就是一个宽度高度通道数的图像数值矩阵y就是分类的类别。语音识别问题。x为语音采样信号y为语音对应的文字。机器翻译。x就是源语言的句子y就是目标语言的句子。而“f”则代表深度学习中的模型如CNN、RNN、LSTM、Encoder-Decoder、Encoder-Decoder with Attention等。不同于传统的机器学习模型相比深度学习中的模型通常具有两个特点模型容量大参数多端到端end-to-end借助GPU计算加速深度学习可以用端到端地优化大容量模型从而在性能上超越传统方法这就是深度学习的基本方法论。那么这种方法有什么缺点呢个人认为有以下几点。一、训练f的效率还不算高训练的效率表现在两方面首先是训练模型的时间长。众所周知深度学习需要借助GPU加速训练但即使这样训练的时间也是以小时或者天为单位的。如果使用的数据量大加上模型复杂例如大样本量的人脸识别、语音识别模型训练时间会以周甚至会以月来计算。在训练效率上还有一个缺点是样本的利用率不高。举个小小的例子图片鉴黄。对于人类来说只需要看几个“训练样本”就可以学会鉴黄判断哪些图片属于“色情”是非常简单的一件事。但是训练一个深度学习的鉴黄模型却往往需要成千上万张正例负例的样本例如雅虎开源的yahoo/open_nsfw。总的来说和人类相比深度学习模型往往需要多得多的例子才能学会同一件事。这是由于人类已经拥有了很多该领域的“先验知识”但对于深度学习模型我们却缺乏一个统一的框架向其提供相应的先验知识。那么在实际应用中如何解决这两个问题对于训练时间长的问题解决办法是加GPU对于样本利用率的问题可以通过增加标注样本来解决。但无论是加GPU还是加样本都是需要钱的而钱往往是制约实际项目的重要因素。二、拟合得到的f本身的不可靠性我们知道深度学习在性能上可以大大超越传统方法。但这种性能指标往往是统计意义上的并不能保证个例的正确性。例如一个99.5%准确率的图片分类模型是指它在10000张测试图片中分类正确了9950张但是对于一张新的图片就算模型输出的分类的置信度很高我们也无法保证结果是一定正确的。因为置信度和实际正确率本质上并不等价。另外f的不可靠性还表现在模型的可解释性较差在深度模型中我们通常很难说清楚每个参数代表的含义。一个比较典型的例子是“对抗生成样本”。如下所示神经网络以60%的置信度将原始图片识别为“熊猫”当我们对原始图像加入一个微小的干扰噪声后神经网络却以99%的置信度将图片识别为“长臂猿”。这说明深度学习模型并没有想象得那么可靠。在某些关键领域如医疗领域如果一个模型既不能保证结果的正确又不能很好地解释其结果那么就只能充当人类的“助手”而不能得到普遍的应用。三、f可以实现“强人工智能”吗最后一个问题其实有点形而上学并不是什么技术上的具体问题不过拿出来讨论讨论也无妨。很多人关心人工智能是关心“强人工智能”的实现。仿照深度学习的方法我们似乎可以这样来理解人的智能x是人的各种感官输入y是人的行为输出如说的话做出的行为f就代表人的智能。那么可以通过暴力拟合f的手段训练出人的智慧吗这个问题见仁见智我个人倾向于是不能的。人的智能可能更类似于概念的抽象、类比、思考与创造而不是直接拿出一个黑盒子f深度学习方法恐怕需要进一步的发展才能去模拟真正的智能。以上只是个人的一些小想法大家如果有兴趣的话可以一起讨论~欢迎关注我的微信公众号--算法猿的成长或者扫描下方的二维码大家一起交流学习和进步如果觉得不错在看、转发就是对小编的一个支持推荐阅读你有哪些deep learningrnn、cnn调参的经验国内有哪些不错的CV计算机视觉团队PyTorch系列 | 快速入门迁移学习实战|手把手教你训练一个基于Keras的多标签图像分类器
