复刻手表网站,上海静安网站制作,网站开发 定制 多少 钱,汉阴网站建设GoogLeNet Incepetion V1
这是GoogLeNet的最早版本#xff0c;出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。
深度学习以及神经网络快速发展#xff0c;人们不再只关注更给力的硬件、更大…GoogLeNet Incepetion V1
这是GoogLeNet的最早版本出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。
深度学习以及神经网络快速发展人们不再只关注更给力的硬件、更大的数据集、更大的模型而是更在意新的idea、新的算法以及模型的改进。
一般来说提升网络性能最直接的办法就是增加网络深度和宽度这也就意味着巨量的参数。但是巨量参数容易产生过拟合也会大大增加计算量。
文章认为解决上述两个缺点的根本方法是将全连接甚至一般的卷积都转化为稀疏连接。一方面现实生物神经系统的连接也是稀疏的另一方面有文献表明对于大规模稀疏的神经网络可以通过分析激活值的统计特性和对高度相关的输出进行聚类来逐层构建出一个最优网络。这点表明臃肿的稀疏网络可能被不失性能地简化。 虽然数学证明有着严格的条件限制但Hebbian准则有力地支持了这一点fire together,wire together。
早些的时候为了打破网络对称性和提高学习能力传统的网络都使用了随机稀疏连接。但是计算机软硬件对非均匀稀疏数据的计算效率很差所以在AlexNet中又重新启用了全连接层目的是为了更好地优化并行运算。
所以现在的问题是有没有一种方法既能保持网络结构的稀疏性又能利用密集矩阵的高计算性能。大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能据此论文提出了名为Inception 的结构来实现此目的。
Inception
Inception 结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构。
作者首先提出下图这样的基本结构 对上图做以下说明
采用不同大小的卷积核意味着不同大小的感受最后拼接意味着不同尺度特征的融合之所以卷积核大小采用1、3和5主要是为了方便对齐。设定卷积步长stride1之后只要分别设定pad0、1、2那么卷积之后便可以得到相同维度的特征然后这些特征就可以直接拼接在一起了文章说很多地方都表明pooling挺有效所以Inception里面也嵌入了。网络越到后面特征越抽象而且每个特征所涉及的感受也更大了因此随着层数的增加3x3和5x5卷积的比例也要增加。
但是使用5x5的卷积核仍然会带来巨大的计算量。 为此文章借鉴NIN采用1x1卷积核来进行降维。
例如上一层的输出为100x100x128经过具有256个输出的5x5卷积层之后(stride1pad2)输出数据为100x100x256。其中卷积层的参数为128x5x5x256。假如上一层输出先经过具有32个输出的1x1卷积层再经过具有256个输出的5x5卷积层那么最终的输出数据仍为为100x100x256但卷积参数量已经减少为128x1x1x32 32x5x5x256大约减少了4倍。
具体改进后的Inception Module如下图
GoogLeNet
GoogLeNet采用了模块化的结构方便增添和修改网络最后采用了average pooling来代替全连接层想法来自NIN,事实证明可以将TOP1 accuracy提高0.6%。但是实际在最后还是加了一个全连接层主要是为了方便以后大家finetune虽然移除了全连接但是网络中依然使用了Dropout ;为了避免梯度消失网络额外增加了2个辅助的softmax用于向前传导梯度。文章中说这两个辅助的分类器的loss应该加一个衰减系数但看caffe中的model也没有加任何衰减。此外实际测试的时候这两个额外的softmax会被去掉。
下图是一个比较清晰的结构图 Top5错误率6.7%使用9个inception模块改变CNN原串行结构并行共22层使用平均池化替代FC层参数量仅为AlexNet的1/12使用softmax获取平均结果网络结构的更新性能比AlexNet要好2014年ILSVRC冠军
GoogLeNet借鉴了NIN的特性在原先的卷积过程中附加了1*1的卷积核加上ReLU激活。
这不仅仅提升了网络的深度提高了representation power而且文中还通过1*1的卷积来进行降维减少了更新参数量 。
NIN模型
Network-in-Network主要思想是用全连接的多层感知机去代替传统的卷积过程以获取特征更加全面的表达同时因为前面已经做了提升特征表达的过程传统CNN最后的全连接层也被替换为一个全局平均池化层因为作者认为此时的map已经具备分类足够的可信度了它可以直接通过softmax来计算loss了
结构 Conclusion
GoogLeNet是谷歌团队为了参加ILSVRC 2014比赛而精心准备的为了达到最佳的性能除了使用上述的网络结构外还做了大量的辅助工作包括训练多个model求平均、裁剪不同尺度的图像做多次验证等等。详细的这些可以参看文章的实验部分。
本文的主要想法其实是想通过构建密集的块结构来近似最优的稀疏结构从而达到提高性能而又不大量增加计算量的目的。GoogleNet的caffemodel大小约50M但性能却很优异。
GoogLeNet Inception V2
GoogLeNet凭借其优秀的表现得到了很多研究人员的学习和使用因此Google团队又对其进行了进一步发掘改进产生了升级版本的GoogLeNet。这一节介绍的版本记为V2文章为《Rethinking the Inception Architecture for Computer Vision》。
Introduction
14年以来构建更深的网络逐渐成为主流但是模型的变大也使计算效率越来越低。这里文章试图找到一种方法在扩大网络的同时又尽可能地发挥计算性能。
首先GoogLeNet V1出现的同期性能与之接近的大概只有VGGNet了并且二者在图像分类之外的很多领域都得到了成功的应用。但是相比之下GoogLeNet的计算效率明显高于VGGNet大约只有500万参数只相当于Alexnet的1/12(GoogLeNet的caffemodel大约50MVGGNet的caffemodel则要超过600M)。
