做招聘求职网站,wordpress面向开发,o2o网站建设教程,买卖友链来源#xff1a;算法与数学之美本质上#xff0c;深度学习是一个新兴的时髦名称#xff0c;衍生于一个已经存在了相当长一段时间的主题——神经网络。从20世纪40年代开始#xff0c;深度学习发展迅速#xff0c;直到现在。该领域取得了巨大的成功#xff0c;深度学习广泛… 来源算法与数学之美本质上深度学习是一个新兴的时髦名称衍生于一个已经存在了相当长一段时间的主题——神经网络。从20世纪40年代开始深度学习发展迅速直到现在。该领域取得了巨大的成功深度学习广泛运用于智能手机、汽车和许多其他设备。那么什么是神经网络它可以做什么现在一起来关注计算机科学的经典方法程序员设计一种算法它对于给定的输入数据生成输出数据。程序员们准确地设计函数fx的所有逻辑y f(x)其中x和y分别是输入数据和输出数据但是有时设计 f(x) 可能并不那么容易。例如假设x是面部图像y是通信员的名字。对于大脑来说这项任务非常容易而计算机算法却难以完成这就是深度学习和神经网络大显神通的地方。基本原则是放弃 f() 算法试着模仿大脑。那么大脑是如何表现的大脑使用几个无限对 (xy) 样本训练集不断训练在这个过程中f(x) 函数会自动形成。它不是由任何人设计的而是从无休止的试错法提炼机制中形成的。想想一个孩子每天看着周围熟悉的人数十亿个快照取自不同的位置、视角、光线条件每次识别都要进行关联每次都要修正和锐化自然神经网络。人工神经网络是由大脑中的神经元和突触组成的自然神经网络模型。典型的神经网络结构为了保持简单并且利用当今机器的数学和计算能力可以将神经网络设计为一组层每层包含节点大脑神经元的人工对应物其中层中的每个节点连接到下一层中的节点。每个节点都有一个状态通过浮点数表示其取值范围通常介于0到1。该状态接近其最小值时该节点被认为是非活动的关闭而它接近最大值时该节点被认为是活动的打开。可以把它想象成一个灯泡不严格依赖于二进制状态但位于取值范围内的某个中间值。每个连接都有一个权重因此前一层中的活动节点或多或少地会影响到下一层中节点的活动兴奋性连结而非活动节点不会产生任何影响。连接的权重也可以是负的这意味着前一层中的节点或多或少地对下一层中的节点的不活动性抑制性连结产生影响。简单来说现在假设一个网络的子集其中前一层中的三个节点与下一层中的节点相连结。简而言之假设前一层中的前两个节点处于其最大激活值1而第三个节点处于其最小值0。在上图中前一层中的前两个节点是活动的开因此它们对下一层中节点的状态有所贡献而第三个节点是非活动的关因此它不会以任何方式产生影响独立于其连结权重。第一个节点具有强厚正绿色连接权重这意味着它对激活的贡献很大。第二个具有弱薄负红色连接权重因此它有助于抑制连接节点。最后得到了来自前一层的传入连接节点的所有贡献值的加权和。其中i是节点 i 的激活状态w ij是连接节点 i 和节点 j 的连接权重。那么给定加权和如何判断下一层中的节点是否会被激活规则真的像“总和为正即被激活结果为负则不会”有可能但一般来说这取决于你为这个节点选择哪个激活函数及阈值。想一想。这个最终数字可以是实数范围内的任何数字我们需要使用它来设置更有限范围内的节点状态假设从0到1。然后将第一个范围映射到第二个范围以便将任意负数或正数数字压缩到0到1的范围内。sigmoid 函数是执行此任务的一个常见激活函数。在该图中阈值y 值达到范围中间的 x 值即0.5为零但一般来讲它可以是任何值负数或正数其变化影响sigmoid向左或向右移动。低阈值允许使用较低的加权和激活节点而高阈值将仅使用该和的高值确定激活。该阈值可以通过考虑前一层中的附加虚节点来实现其激活值恒定为 1。在这种情况下该虚节点的连接权重可以用作阈值并且上文提到的和公式可以被认为包括阈值本身。最终网络的状态由其所有权重的一组值来表示从广义上讲包括阈值。给定状态或一组权重值可能会产生不良结果或大错误而另一个状态可能会产生良好结果换句话说就是小错误。因此在N维状态空间中移动会造成小错误或大错误。损失函数能将权重域映射到错误值的函数。在n1空间里人们的大脑很难想象这样的函数。但是对于N 2是个特殊情况。训练神经网络包括找到最小的损失函数。为什么是最佳最小值而不是全局最小值其实是因为这个函数通常是不可微分的所以只能借助一些 梯度下降技术在权重域中游荡并避免以下情况做出太大的改变可能你还没意识到就错过最佳最小值做出太小的改变你可能会卡在一个不太好的局部最小值不容易对吧这就是深度学习的主要问题也解释了为什么训练阶段可能要花数小时、数天甚至数周。这就是为什么硬件对于此任务至关重要同时也解释了为什么经常需要暂停考虑不同的方法和配置参数来重新开始。现在回到网络的一般结构这是一堆层。第一层是输入数据 (x)而最后一层是输出数据 (y)。中间的层可以是零个、一个或多个。它们被称为隐藏层深度学习中的“深度”一词恰好指的是网络可以有许多隐藏层因此可能在训练期间找到更多关联输入和输出的特征。提示在20世纪90年代你会听说过多层网络而不是深度网络但这是一回事。现在越来越清楚的是筛选层离输入层越远深就能越好地捕捉抽象特征。学习过程在学习过程开始时权重是随机设置的因此第一层中的给定输入集将传送并生成随机计算输出数据。将实际输出数据与期望输出数据进行比较其差异就是网络误差损失函数的度量。然后此错误用于调整生成它的连接权重此过程从输出层开始逐步向后移动到第一层。调整的量可以很小也可以很大并且通常在称为学习率的因素中定义。这种算法称为反向传播并在RumelhartHinton和Williams研究之后于1986年开始流行。记住这个名字杰弗里·辛顿 (Geoffrey Hinton)他被誉为“深度学习的教父”是一位孜孜不倦的科学家为他人指引前进方向。例如他现在正在研究一种名为胶囊神经网络 (Capsule Neural Networks) 的新范式听起来像是该领域的另一场伟大革命反向传播旨在通过对训练每次集中迭代的权重进行适当的校正来逐渐减少网络的整体误差。另外减少误差这个步骤很困难因为不能保证权重调整总是朝着正确的方向进行最小化。简而言之你戴着眼罩走来走去时在一个n维曲面上找到一个最小值你可以找到一个局部最小值但永远不知道是否可以找到更小的。如果学习率太低则该过程可能过于缓慢并且网络也可能停滞在局部极小值。另一方面较高的学习率可能导致跳过全局最小值并使算法发散。事实上训练阶段的问题在于错误只多不少现状为什么这个领域现在取得如此巨大的成功主要是因为以下两个原因训练所需的大量数据来自智能手机、设备、物联网传感器和互联网的可用性现代计算机的计算能力可以大大缩短训练阶段训练阶段只有几周甚至几天的情况很常见想了解更多这里有几本好书推荐亚当•吉布森Adam Gibson和 乔希·帕特森Josh Patterson所著的《深度学习》O’Reilly媒体出版社。莫希特·赛瓦克Mohit Sewark、默罕默德·礼萨·卡里姆Md Rezaul Karim和普拉蒂普·普贾里Pradeep Pujari所著的《实用卷积神经网络》 Packt出版社。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
