网站网商,装修网站排名前十名,哪家能建设网站,建设大型网站推广收费深度学习的 Ups and Downs概念区分神经网络的构成深度学习基本原理深度学习的普遍近似定理扩展#xff1a;反卷积网络——可视化每一层提取的特征 深度学习的 Ups and Downs
1958#xff1a;感知机#xff08;线性模型#xff09;1969#xff1a;感知机有局限性1980s反卷积网络——可视化每一层提取的特征 深度学习的 Ups and Downs
1958感知机线性模型1969感知机有局限性1980s多层感知机 和今天的深度神经网络没有显著区别1986反向传播 通常超过 3 层的隐藏层没有帮助19891 层隐藏层就“足够好”为什么要深层2006RBM 初始化2009GPU2011开始在语音识别领域流行2012赢得 ILSVRC 图像竞赛2015.2图像识别超越人类水平2016.3Alpha GO 击败李世石2016.10语音识别系统达到人类水平
概念区分
深度学习属于机器学习深度学习 本质上是一个三层或更多层的神经网络。这些神经网络试图模拟人脑尽管远未达到其功能支持从大量数据中进行学习。
神经网络是一种模仿生物神经系统的计算模型它由多个神经元组成每个神经元都可以接收、处理和传递信息。它模仿人脑的机制来解释数据例如图像声音和文本。神经网络可以有不同的结构和类型例如 卷积神经网络、循环神经网络、生成对抗网络等。
深度学习是利用深层的神经网络来实现机器学习的目标例如图像识别、自然语言处理、语音识别等。将模型处理得更为复杂从而使模型对数据的理解更加深入。
神经网络的构成
典型的神经网络如下图所示 可以看到典型的神经网络由
输入层中间层/隐层输出层
共三层所构成。
神经元表示输入、中间数值、输出数值点。例如在图中的一个个小圆圈分别表示不同的神经元。权重神经元传导时要乘以一个系数这个系数叫做权重值。例如从上图中输入层的神经元要传导到隐层的神经元输入层的神经元要乘以一个系数后到达隐层即隐层输入层*权重。 深度学习基本原理
深度学习是通过 一层又一层的隐层 实现了复杂的功能。
以图像识别为例假设我们要识别一幅图像内的 语义信息。实现起来具体为
第 1 层提取图像的 最基础的底层特征包括 纹理、边缘、色彩等。第 2 层将第 1 层的特征排列组合并找到有用的组合信息。此时会找到 曲线、轮廓等特征。第 3 层对第 2 层的特征排列组合并找到有用的组合信息。此时会找到 高级特征例如 眼睛、鼻子、嘴等等。第 4 层对第 3 层的特征进行排列组合并找到有用的组合信息。此时会找到有用的 语义信息例如 打电话、奔跑等语义信息。
该过程的简单示意如下图所示 所以深度学习的处理逻辑 就是首先提取低级特征然后对低级特征不断地在更高的级别上进行排列组合并寻找组合后的有用信息。
深度学习的普遍近似定理
深度学习的普遍近似定理Universal Approximation Theorem表明具有足够参数的深度神经网络即深度学习模型在理论上能够以任意精度逼近拟合任何连续函数。 这个定理的内容并非深度学习可以逼近任何函数而是对于任何 连续函数存在一个深度神经网络可以以足够精度近似它。 可以把深度学习看作是一种 函数的组合每一层都是一个函数它的输入是上一层的输出它的输出是下一层的输入。每一层的函数都有一些参数比如权重weight和偏置bias它们可以通过训练来调整使得整个网络的输出更接近目标函数的值。每一层的函数还有一个特殊的成分叫做 激活函数activation function它是一个非线性的函数比如 sigmoid、tanh、ReLU 等它的作用是 给网络增加非线性的能力使得网络可以拟合更复杂的函数。如果没有激活函数那么无论网络有多少层它都只能拟合线性的函数因为线性函数的组合还是线性函数。有了激活函数网络就可以拟合非线性的函数而且层数越多拟合的能力越强因为网络可以提取更高层次的特征更好地适应数据的分布。
具体来说Universal Approximation Theorem 的形式有点技术性但大致的理解是
在足够深、足够宽指神经网络中有足够多的神经元的情况下深度神经网络具有足够的表达能力可以逼近连续函数的任何形状。
这是 因为深度神经网络的层次结构允许它学习复杂的特征和表示。
扩展反卷积网络——可视化每一层提取的特征
论文《Visualizing and Understanding Convolutional Networks》提供了一种有效的方法来 可视化和理解卷积网络的内部工作机制从而帮助我们设计和改进网络模型。
其中介绍的一种用于可视化和理解卷积网络的技术叫做 反卷积网络Deconvnet。反卷积网络是一种与卷积网络相反的结构它可以 将卷积网络的中间层的特征图映射回像素空间从而展示出每一层所提取的特征和激活的模式。
通过反卷积网络我们可以观察到 卷积网络的每一层都学习到了什么有用的知识例如
第一层学习到了一些 简单的边缘和颜色 的检测器类似于 传统的滤波器。第二层学习到了一些 由边缘和颜色组成的更复杂的形状和纹理 的检测器例如 圆角、条纹、斑点等。第三层学习到了一些 由形状和纹理组成的更高级的特征 的检测器例如 眼睛、鼻子、轮胎等。第四层学习到了一些 由高级特征组成的更具体的物体 的检测器例如 狗、猫、人脸等。第五层学习到了一些 由具体物体组成的更抽象的类别 的检测器例如 动物、汽车、飞机等。
