淮北网站开发公司,企业信息门户,wordpress 需要会php,网站模板怎么设计软件文章目录8 经典卷积网络8.1 LeNet模型8.2 Alexnet8.3 VGG8.4 ResNet8.5 感受野8 经典卷积网络
在前面一讲#xff0c;我们谈论了关于卷积神经网络的诸多细节。综合来讲#xff0c;卷积神经网络就是含卷积层的网络。在本讲中#xff0c;我们将会根据卷积神经网络发展的历史我们谈论了关于卷积神经网络的诸多细节。综合来讲卷积神经网络就是含卷积层的网络。在本讲中我们将会根据卷积神经网络发展的历史来看看别人当年使用过哪些经典的卷积神经网络。
8.1 LeNet模型
LeNet是最早出现的卷积神经网络 。这个名字来源于LeNet论文的第一作者Yann LeCun。LeNet展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的结果。这个奠基性的工作第一次将卷积神经网络推上舞台为世人所知。
8.2 Alexnet
在LeNet提出后的将近20年里神经网络一度被其他机器学习方法超越如支持向量机。虽然LeNet可以在早期的小数据集上取得好的成绩但是在更大的真实数据集上的表现并不尽如人意。一方面神经网络计算复杂。虽然20世纪90年代也有过一些针对神经网络的加速硬件但并没有像之后GPU那样大量普及。因此训练一个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另一方面当年研究者还没有大量深入研究参数初始化和非凸优化算法等诸多领域导致复杂的神经网络的训练通常较困难。
2012年AlexNet横空出世。这个模型的名字来源于论文第一作者的姓名Alex Krizhevsky。AlexNet使用了8层卷积神经网络并以很大的优势赢得了ImageNet 2012图像识别挑战赛。它首次证明了学习到的特征可以超越手工设计的特征从而一举打破计算机视觉研究的前状。 虽然经典但是从其构成来看在第一个卷积层中其使用了11×11的卷积核来大刀阔斧提取特征而且不加填充和步长4。虽然在当时很经典但是在现阶段中Alexnet无疑已经淘汰了。
8.3 VGG
VGG模型是2014年ILSVRC竞赛的第二名第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于googLeNet。而且从图像中提取CNN特征VGG模型是首选算法。它的缺点在于参数量有140M之多需要更大的存储空间。但是这个模型很有研究价值。
模型的名称——“VGG”代表了牛津大学的Oxford Visual Geometry Group该小组隶属于1985年成立的Robotics Research Group该Group研究范围包括了机器学习到移动机器人。下面是一段来自网络对同年GoogLeNet和VGG的描述
“GoogLeNet和VGG的Classification模型从原理上并没有与传统的CNN模型有太大不同。大家所用的Pipeline也都是训练时候各种数据Augmentation剪裁不同大小调亮度饱和度对比度偏色剪裁送入CNN模型SoftmaxBackprop。测试时候尽量把测试数据又各种Augmenting剪裁不同大小把测试数据各种Augmenting后在训练的不同模型上的结果再继续Averaging出最后的结果。”
需要注意的是在VGGNet的6组实验中后面的4个网络均使用了pre-trained model A的某些层来做参数初始化。虽然提出者没有提该方法带来的性能增益。 VGG从发展之初到现在已经有多个版本了对于不同的版本其架构都有微妙的不同。
VGG有很多特点如下所示
小卷积核。作者将卷积核全部替换为3x3极少用了1x1小池化核。相比AlexNet的3x3的池化核VGG全部为2x2的池化核层数更深特征图更宽。基于前两点外由于卷积核专注于扩大通道数、池化专注于缩小宽和高使得模型架构上更深更宽的同时计算量的增加放缓全连接转卷积。网络测试阶段将训练阶段的三个全连接替换为三个卷积测试重用训练时的参数使得测试得到的全卷积网络因为没有全连接的限制因而可以接收任意宽或高为的输入。
对于图像分类来说在不调参数的时候VGG的效果比Alexnet的效果要好但是如果假设Alexnet要跑八个小时那么VGG很有可能要跑3天。
8.4 ResNet
对于深度学习来说人们总是认为层数越多模型效果越好然而在实践中添加过多的层后训练误差往往不降反升。即使利用批量归一化带来的数值稳定性使训练深层模型更加容易该问题仍然存在。针对这一问题何恺明等人提出了残差网络ResNet。它在2015年的ImageNet图像识别挑战赛夺魁并深刻影响了后来的深度神经网络的设计。
我们可以用通俗易懂的话解释ResNet。对于高层数的神经网络来说明显低层数的神经网络准确率要得多那如果我想通过继续堆叠层数来提高准确率那我可以对继续堆叠的层进行一个“选拔”。如果这个继续堆叠的层能够对提高准确率有帮助那么它就留下如果不仅没有提高准确率反而还降低准确率了那么我们就把这一层权重参数和偏置设为0不用这一层即可。
但是这样的想法有一个问题。如果我们将神经网络无用的一层偏置和权重都设为0那么通过这一层后数据还能成啥样基本上就毁了。故我们可以用下面的形式来解决这个问题 如果在传播的过程中发现下一个层是一个无用层那么传播会跳过这一层之前使用其他的通路前往下下层这样的话既避免数据的破坏也提高的传播的速度。
我们用再细致一点的口吻再讲一次 当x输入后通过第一个卷积层然后通过第二个卷积层通过这两层后却发现效果不好即使调整这两层的参数也没救那么我们就直接设置一条通路前往第三层我们设第三层的输入是H(x)而通过一二层的输出是F(x)不通过两层卷积层而采用小道过来的x那么H(x) F(x)x而如果F(x)不尽人意那么我们只需将F(x)设置为0H(x) x即可相当于抽卡有了个保底运气再怎么差我也能抽到。 我们可以把左图看做是VGG而右图看做是ResNet可以看出在层数变高的时候ResNet效果比VGG要好得多。这实际上也把深度学习救活了因为在ResNet出来前人们认为深度学习只能到达一定层数它不能继续堆叠了而当ResNet出来后神经网络的层数得到了进一步的提高尽管层数提高后提升很少的准确率。
8.5 感受野
我们来谈谈感受野的问题。
在卷积神经网络中感受野Receptive Field的定义是卷积神经网络每一层输出的特征图feature map上的像素点在输入图片上映射的区域大小。再通俗点的解释是特征图上的一个点对应输入图上的区域如下图所示。 假设我在第三层中只有一个像素点它是通过第二层中3×3的区域和卷积核做互相关运算得来而第二层的3×3又是由第一层中5×5的区域和卷积核做互相关运算得来那么我们称第三层中那一个像素点的感受野为5×5。
那么我们思考这么一件事如果堆叠3个3×3的卷积核并且步幅为1那么感受野就是7×7这和直接用一个7×7的卷积核貌似没啥区别那么我们干嘛非要堆叠3个小卷积呢
我们假设输出的大小是h* w* c并且都是用c个卷积核(得到c个特征图)可以来计算一下各自所需参数 明显地堆叠小卷积核所需的参数比直接用一个大卷积核所需的参数要少得多而且如果卷积层堆叠更多实际上特征提取也会更细致加入的非线性变换也随着增多还不会增大 权重参数个数这就是VGG的初衷。
