十大购物网站排名,在线免费视频网站推广,如何创立自己的品牌,介绍企业的ppt▲数据汪特别推荐点击上图进入玩酷屋小木用真金白银来给大家送礼物啦#xff0c;特别感谢这些年一直以来大家对我们的支持#xff0c;才让我们越做越好。#xff08;点我参与送礼活动#xff09;这几年全球各大科技巨头纷纷进入人工智能领域#xff0c;催生了一大批技术的… ▲数据汪特别推荐点击上图进入玩酷屋小木用真金白银来给大家送礼物啦特别感谢这些年一直以来大家对我们的支持才让我们越做越好。点我参与送礼活动这几年全球各大科技巨头纷纷进入人工智能领域催生了一大批技术的发展和落地AI医疗、智能翻译、图像识别、智能社交机器人、无人驾驶……这些技术的背后都离不开“深度学习”。科技改变我们生活的同时也给我们带来了某些隐忧人工智能会不会取代我们甚至统治我们我们一起来探索这本由特伦斯·谢诺夫斯基著作的《深度学习智能时代的核心驱动力量》神经网络与深度学习为什么要了解深度学习首先“深度学习”现在太热门了图形识别、语音识别、汽车导航全都能用上非常值钱。更重要的是“深度学习”算法包含精妙的思想能够代表这个时代的精神。这个思想并不难但是一旦领会了你就能窥探一点脑神经科学和现代工程学。我将重点使用两份参考资料一个是Arstechnica网站近期发布的一篇文章《计算机图形识别能力如何好到令人震惊》作者是蒂莫西·李Timothy Lee。 一个是一本新书《深度学习智能时代的核心驱动力量》作者是特伦斯·谢诺夫斯基Terrence Sejnowski中信出版社刚刚出了中文版。《深度学习智能时代的核心驱动力量》特伦斯·谢诺夫斯基 著不知道大家注意到没有你的手机相册知道你每一张照片里都有什么东西。不管你用的是 iPhone还是安卓相册都有一个搜索功能你输入“beach”它能列举所有包含海滩的照片输入“car”它能列举画面中有汽车的照片而且它还能识别照片中的每一个人。每拍摄一张照片手机都自动识别其中的典型物体。这是一个细思极恐的技术。怎么才能教会计算机识别物体呢心急的朋友可以点击下方小程序购买~▼没有规则的学习不到十年之前人们总认为模式识别方面人脑比计算机厉害甚至谷歌投入巨大精力研究都做不到从照片里识别出一只猫。然而从2012年开始“深度学习”让计算机识别图形的能力突然变得无比强大甚至已经超过了人类。首先来看人是怎么识别猫的。观察一下这张图你怎么判断这张照片里有没有猫呢你可能会说这很简单所有人都知道猫长什么样——好那请问猫长什么样你也许可以用科学语言描写“三角形”是什么样的——这是一种图形它有三条直线的边有三个顶点。可是你能用比较科学的语言描写猫吗它有耳朵、有尾巴但这么形容远远不够最起码你得能把猫和狗区分开来才行。再看下面这张图片你怎么判断 ta 是男还是女呢图片来自 design.tutsplus.com你可能会说女性长得更秀气一些——那什么叫“秀气”是说眉毛比较细吗是轮廓比较小吗这是一个非常奇怪的感觉。你明明知道猫长什么样你明明一眼就能区分男性和女性可是说不清是怎么看出来的。古老的计算机图形识别方法就是非要规定一些明确的识别规则让计算机根据规则判断结果发现非常不可行。人脑并不是通过什么规则做的判断。那到底是怎么判断的呢神经网络神经网络计算并不是一项新技术几十年前就有了但是一开始并不被看好。《深度学习》的作者谢诺夫斯基上世纪80年代就在研究神经网络计算那时候他是一个少数派。1989年谢诺夫斯基到麻省理工学院计算机实验室访问。气氛不算融洽那里的人都质疑他的方法。午餐之前谢诺夫斯基有五分钟的时间给所有人介绍一下他讲座的主题。谢诺夫斯基临场发挥以食物上的一只苍蝇为题说了几句话。谢诺夫斯基说你看这只苍蝇的大脑只有10万个神经元能耗那么低但是它能看、能飞、能寻找食物还能繁殖。MIT有台价值一亿美元的超级计算机消耗极大的能量有庞大的体积可是它的功能为什么还不如一只苍蝇在场的教授都未能回答好这个问题倒是一个研究生给出了正确答案。他说这是因为苍蝇的大脑是高度专业化的进化使得苍蝇的大脑只具备这些特定的功能而我们的计算机是通用的你可以对它进行各种编程它理论上可以干任何事情。这个关键在于大脑的识别能力不是靠临时弄一些规则临时编程。大脑的每一个功能都是专门的神经网络长出来的那计算机能不能效法大脑呢谢诺夫斯基说大脑已经给计算机科学家提供了四个暗示。第一个暗示大脑是一个强大的模式识别器。人脑非常善于在一个混乱的场景之中识别出你想要的那个东西。比如你能从满大街的人中一眼就认出你熟悉的人。第二个暗示大脑的识别功能可以通过训练提高。第三个暗示大脑不管是练习还是使用识别能力都不是按照各种逻辑和规则进行的。我们识别一个人脸并不是跟一些抽象的规则进行比对。我们不是通过测量这个人两眼之间的距离来识别这个人。我们一眼看过去就知道他是谁了。第四个暗示大脑是由神经元组成的。我们大脑里有数百亿个神经元大脑计算不是基于明确规则的计算而是基于神经元的计算。这就是神经网络计算要做的事情。什么是“深度学习”下面这张图代表一个最简单的计算机神经网络。 图片来自 hackernoon.com它从左到右分为三层。第一层代表输入的数据第二和第三层的每一个圆点代表一个神经元。第二层叫“隐藏层”。第三层是“输出层”。数据输入进来经过隐藏层各个神经元的一番处理再把信号传递给输出层输出层神经元再处理一番最后作出判断。从下面这张图你可以看到它的运行过程。图片来自 Analytics India Magazine那什么叫“深度学习”呢最简单的理解就是中间有不止一层隐藏层神经元的神经网络计算。“深度”的字面意思就是层次比较“深”。接着看下面这张图你可以看到左边是简单神经网络右边是深度学习神经网络。图片来自 Towards Data Science 网站计算机最底层的单元是晶体管而神经网络最底层的单元就是神经元。神经元是什么东西呢我们看一个最简单的例子。下面这张图表现了一个根据交通信号灯判断要不要前进的神经元。它由三部分组成输入、内部参数和输出。 这个神经元的输入就是红灯、黄灯和绿灯这三个灯哪个亮了。我们用1表示亮0表示不亮那么按照顺序“100” 这一组输入数字就代表红灯亮黄灯和绿灯不亮。 神经元的内部参数包括“权重weight”它对每个输入值都给一个权重比如图中给红灯的权重是 -1黄灯的权重是 0给绿灯的权重是 1。另外它还有一个参数叫“偏移bias”图中偏移值是-0.5。神经元做的计算就是把输入的三个数字分别乘以各自的权重相加然后再加上偏移值。比如现在是红灯那么输入的三个数值就是1、0、0权重是 -1、0、1所以计算结果就是1×(-1) 0×0 0×1 - 0.5 -1.5输出是做判断判断标准是如果计算结果大于 0 就输出“前进”命令小于 0 就输出“停止”命令。现在计算结果小于0所以神经元就输出“停止”。这就是神经元的基本原理。真实应用中的神经元会在计算过程中加入非线性函数的处理并且确保输出值都在 0 和 1 之间。 本质上神经元做的事情就是按照自己的权重参数把输入值相加再加入偏移值形成一个输出值。如果输出值大于某个阈值我们就说这个神经元被“激发”了。神经元的内部参数包括权重和偏移值都是可调的。用数据训练神经网络的过程就是调整更新各个神经元的内部参数的过程。神经网络的结构在训练中不变是其中神经元的参数决定了神经网络的功能。接下来我们要用一个实战例子说明神经网络是怎样进行图形识别的。我们要用一个简单的神经网络识别手写的阿拉伯数字。计算机如何识别手写数字用神经网络识别手写的阿拉伯数字是一个非常成熟的项目网上有现成的数据库和很多教程。有个叫迈克尔·尼尔森Michael Nielsen的人只用了74行Python程序代码就做成了这件事。给你几个手写阿拉伯数字可能是信封上的邮政编码也可能是支票上的钱数你怎么教会计算机识别这些数字呢简化想要让计算机处理首先要把问题“数学化”。写在纸上的字千变万化我们首先把它简化成一个数学问题。我们用几个正方形把各个数字分开就像下面这张图一样。现在问题变成给你一个包含一个手写数字的正方形区域你能不能识别是什么数字再进一步我们忽略字的颜色降低正方形的分辨率就考虑一个28×28784个像素的图像。我们规定每一个像素值都是0到1之间的一个小数代表灰度的深浅0表示纯白色1表示纯黑。这样一来手写的数字“1”就变成了下面这个样子 —— 图片来自packtpub.com, The MNIST dataset。实际分辨率是28×28。这就完全是一个数学问题了。现在无非就是给你784个0-1之间的数你能不能对这组数做一番操作判断它们对应的是哪个阿拉伯数字。输入784个数输出一个数。这件事从常理来说并不是一点头绪都没有。比如任何人写数字“7”左下角的区域应该是空白的这就意味着784个像素点中对应正方形左下角区域那些点的数值应该是0。再比如说写“0”的时候的中间是空的那么对应正方形中间的那些像素点的数值应该是0。然而这种人为找规律的思路非常不可行。首先你很难想到所有的规则更重要的是很多规则都是模糊的——比如7的左下角空白那这个空白区域应该有多大呢不同人的写法肯定不一样。设定我们要用的方法叫做“误差反向传播网络”它最早起源于1986年发表在《自然》杂志上的一篇论文这篇论文的被引用次数已经超过了4万次是深度学习的里程碑。根据尼尔森的教程我们建一个三层的神经网络就是下面这张图 ——第一层是输入数据图中只画了8个点但其实上有784个数据点。第二层是隐藏层由15个神经元组成。第三层是输出层有10个神经元对应0-9这10个数字。每个神经元都由输入、权重和偏移值参数、输出三个部分组成。隐藏层15个神经元中的每一个都要接收全部784个像素的数据输入总共有784×1511760个权重和15个偏移值。第三层10个神经元的每一个都要跟第二层的所有15个神经元连接总共有150个权重和10个偏移值。这样下来整个神经网络一共有11935个可调参数。理想状态下784个输入值在经过隐藏层和输出层这两层神经元的处理后输出层的哪个神经元的输出结果最接近于1神经网络就判断这是哪一个手写数字。训练网上有个公开的现成数据库叫“MNIST”其中包括6万个手写的数字图像都标记了它们代表的是哪些数字。我们要做的是用这些图像训练神经网络去调整好那11935个参数。我们可以用其中3万个图像训练用剩下3万个图像检验训练效果。这个训练调整参数的方法就是“误差反向传播”。比如我们输入一个数字“7”的图像。神经网络实际收到的是784个像素值。经过两层神经元的传播计算理想情况下输出层的7号神经元的输出值应该最接近于1其他的都很接近于0。一开始结果并不是这么准确我们要用一套特定的规则去调整各个神经元的参数。参数调整有个方向叫做“误差梯度”。比如对输出层的7号神经元来说调整方向就是要让它的输出值变大对其他9个神经元调整方向则是让输出值变小。这个调整策略是看哪个输入信息对结果的影响大对它的权重的调整就要大一点。几万个训练图像可能会被反复使用多次神经网络参数不断修改最终将会达到稳定。慢慢地新图像喂进来这11935个参数的变化越来越小最终几乎不动了。那就是说这个识别手写数字的神经网络已经练成了。事实证明这个简单网络的识别准确率能达到95% 在理论上这个方法可以用来学习识别一切图像。你只要把一张张的图片喂给神经网络告诉它图上有什么它终将自己发现各个东西的像素规律……但是在实践上这个方法非常不可行。卷积网络如何实现图像识别计算机不怕“笨办法”但是哪怕你能让它稍微变聪明一点你的收获都是巨大的。“笨办法”和人的办法下面这张图中有一只猫、一只狗、绿色的草地和蓝天白云。它的分辨率是350×263总共92050个像素点。考虑到这是一张彩色照片每个像素点必须用三个数来代表颜色这张图要用27万个数来描写。要想用误差反向传播神经网络识别这样的图它第二层每一个神经元都要有27万个权重参数。要想识别包括猫、狗、草地、蓝天白云这种水平的常见物体它的输出层必须有上千个神经元才行。这样训练一次的计算量将是巨大的 —— 但这还不是最大的难点。最大的难点是神经网络中的参数越多它需要的训练素材就越多。并不是任何照片都能用作训练素材你必须事先靠人工标记照片上都有什么东西作为标准答案才能给神经网络提供有效反馈。这么多训练素材上哪找呢我听罗胖跨年演讲学到一个词叫“回到母体”意思大约是从新技术后退一步返回基本常识也许能发现新的创新点。现在我们回到人脑想想为什么简单神经网络是个笨办法。人脑并不是每次都把一张图中所有的像素都放在一起考虑。我们有一个“看什么”和一个“往哪看”的思路。让你找猫你会先大概想象一下猫是什么样子然后从一张大图上一块一块地找你没必要同时考虑图片的左上角和右下角。这是“往哪看”。还有当你想象猫的时候虽然不能完全说清但你毕竟还是按照一定的规律去找。比如猫身上有毛它有两个眼睛和一条尾巴等等。你看的不是单个的像素点你看的是一片一片的像素群的模式变化。这是“看什么”。我理解“卷积网络”就是这两个思路的产物。竞赛斯坦福大学的华裔计算机科学家李飞飞组织了一个叫做ImageNet的机器学习图形识别比赛从2010年开始每年举行一次。这个比赛每年都给参赛者提供一百万张图片作为训练素材其中每一张图都由人工标记了图中的每个物体。 图片素材中共有大约一千个物体分类。这就意味着对每一种物体人工智能都有大约一千次训练机会。比赛规则是参赛者用这一百万张图片训练自己的程序然后让程序识别一些新的图片。每张新图片有一个事先设定的标准答案而参赛者的程序可以猜五个答案只要其中有一个判断跟标准答案相符合就算识别结果准确。上图是历届比赛冠军的成绩。2010和2011年最好成绩的判断错误率都在26%以上但是2012年错误率下降到了16%从此之后更是直线下降。2017年的错误率是2.3%这个水平已经超过人类。那2012年到底发生了什么呢发生了“卷积网络”。卷积网络2012年的冠军是多伦多大学的一个研究组他们使用的方法就是卷积网络。正是因为这个方法太成功了“深度学习”才流行起来现在搞图形识别几乎全都是用这个方法。获奖团队描述卷积网络的论文的第一作者叫艾利克斯·克里泽夫斯基Alex Krizhevsky当时他只是一个研究生这篇论文现在被人称为“AlexNet” 。简单来说AlexNet的方法是在最基本的像素到最终识别的物体之间加入了几个逻辑层也就是“卷积层”。“卷积”是一种数学操作可以理解成“过滤”或者叫“滤波”意思是从细致的信号中识别尺度更大一点的结构。每一个卷积层识别一种特定规模的图形模式然后后面一层只要在前面一层的基础上进行识别这就解决了“看什么”和“往哪看”的问题。比如说我们要搞人脸识别卷积网络方法把问题分解为三个卷积层。图片来自cdn.edureka.co第一层是先从像素点中识别一些小尺度的线条结构。第二层是根据第一层识别出来的小尺度结构识别像眼睛、耳朵、嘴之类的局部器官。第三层才是根据这些局部器官识别人脸。其中每一层的神经网络从前面一层获得输入经过深度学习之后再输出到后面一层。AlexNet的论文提到他的识别系统足足分了五个卷积层每一层都由很多个“特征探测器”组成。第一层有96个特征探测器各自负责探测整个图形中哪些地方有下面这96种特征中的一种。比如说第一层的第一个特征探测器专门负责判断图中哪里有像下面这样从左下到右上的线条结构。这个特征探测器本身也是一个神经网络有自己的神经元——而这里的妙处在于它的每一个神经元只负责原始图像中一个11×11小区块。考虑到三种颜色输入值只有 11×11×3 363个。而且因为这个探测器只负责探测一种结构每个神经元的参数都是一样的这就大大降低了运算量。第一层的其他探测器则负责判断像垂直条纹、斑点、颜色从亮到暗等各种小结构一共是96种。也就是说卷积网络的第一层先把整个图像分解成11×11的区块看看每个区块里都是什么结构。为了避免结构被区块拆散相邻的区块之间还要有相当大的重叠。经过第一层的过滤我们看到的就不再是一个个的像素点而是一张小结构的逻辑图。然后第二卷积层再从这些小结构上识别出更大、更复杂也更多的结构来。以此类推一直到第五层。下面这张图表现了从第一层到第三层识别的模块灰色和对应的实例彩色。我们看到第二个卷积层已经能识别圆形之类的结构第三层已经能识别车轮和小的人脸。五个卷积层之外AlexNet还设置了三个全局层用于识别更大的物体。整个分层的结构是下面这样。图片来自 Machine Learning Blog这样分层方式有很多好处第一卷积层中的神经元只要处理一个小区域的数据而且参数可以重复使用大大减少了运算量。第二因为可以一个区域一个区域地搜索就可以发现小尺度的物体。意识到图形识别有多难你就能体会到AlexNet的识别水平有多神奇。下面这张图中有个红色的螨虫它出现在图像的边缘但是被正确识别出来了。AlexNet还猜测它可能是蜘蛛、蟑螂、虱子或者海星但是认为它是螨虫的可能性最高。这个判断水平已经超过了我我都不知道那是个螨虫。再比如下面这张图标准答案是“蘑菇”但AlexNet给的第一判断是更精确的“伞菌”“蘑菇”是它的第二选项而现在基于类似的卷积网络方法的深度学习程序水平已经远远超过了AlexNet。深度学习(不)能干什么AlexNet那篇论文的几个作者成立了一家创业公司这家公司在2013年被Google收购了。半年之后Google相册就有了基于图片识别的搜索能力。紧接着Google就可以从自家拍摄的街景图像中识别每家每户的门牌号码了。Google还夺得了2014年的ImageNet竞赛冠军。所以千万别低估工程师迭代新技术的能力。他们举一反三一旦发现这个技术好马上就能给用到极致。2012年之前深度学习还是机器学习中的“非主流”现在是绝对主流。深度学习能做一些令人赞叹的事情。比如说对于一个不太容易判断的物体如果网络知道图中有草地那么它就会自动判断这应该是一个经常放在户外的东西而不太可能是一件家具。这完全是基于经验的判断你不需要告诉它家具一般不放户外。看的图多了它仿佛获得了一些智慧一个生活经验少的人可做不到这一点。但是蒂莫西·李也提醒了我们深度学习不能做什么。比如说把一个物体放大一点、或者旋转一个角度、或者调整一下光线卷积网络就不知道那是同一个东西它必须重新判断。深度学习完全是基于经验的判断它没有任何逻辑推理能力。在我看来这种学习方法就如同在数学考试前夜背诵习题集。你能猜对答案是因为你背诵过类似的题但是你并不真的理解数学。这样的算法会有创造力吗深度学习能发现图像中从来没有被人命名过的“怪异”物体吗我们见识了光凭经验的操作能强大到什么程度但是我们也能看出来它距离真正的智能还非常遥远。 《深度学习智能时代的核心驱动力量》原价88元玩酷粉丝特惠价66元▲点击【添加到我的小程序】更方便找到玩酷屋哦▲关注即可领取新人专属福利即领即用※本文改编自得到专栏《万维钢·精英日课3》已获授权转载请联系原作者。万维钢网名“同人于野”前物理学家现科学作家。玩酷屋——超级数学建模自营店 点击“阅读原文立即购买
