潮州市建设局网站,做网站项目的心得,建设家具网站,网站建站策划上图解释了1∗1卷积如何适用于尺寸为H∗W∗D的输入层#xff0c;滤波器大小为1∗1∗D#xff0c;输出通道的尺寸为H∗W∗1。如果应用n个这样的滤波器#xff0c;然后组合在一起#xff0c;得到的输出层大小为H∗W∗n。
1.1∗1卷积的作用
调节通道数 由于 11 卷积并不会改…
上图解释了1∗1卷积如何适用于尺寸为H∗W∗D的输入层滤波器大小为1∗1∗D输出通道的尺寸为H∗W∗1。如果应用n个这样的滤波器然后组合在一起得到的输出层大小为H∗W∗n。
1.1∗1卷积的作用
调节通道数 由于 1×1 卷积并不会改变 height 和 width改变通道的第一个最直观的结果就是可以将原本的数据量进行增加或者减少。这里看其他文章或者博客中都称之为升维、降维。但实际情况维度并没有改变改变的只是 height×width×channels 中的channels这一个维度的大小而已。增加非线性 1∗1卷积核可以在保持特征图尺度不变的即不改变的前提下大幅增加非线性特性利用后接的非线性激活函数如ReLU。非线性允许网络学习更复杂的功能并且使得整个网络能够进一步加深。跨通道信息交互 使用1∗1卷积核实现降维和升维的操作其实就是间通道信息的线性组合变化。例如在卷积核大小为3∗3卷积核个数为64的滤波器与卷积核大小为1∗1卷积核个数为28的滤波器组合其输出层大小等于通过卷积核大小为3∗3卷积核个数为28的滤波器所得到的输出层的大小原来的64个通道就可以理解为跨通道线性组合变成了28通道这就是通道间的信息交互。减少参数 前面所说的降维其实也是减少了参数因为特征图少了参数也自然跟着就减少相当于在特征图的通道数上进行卷积压缩特征图二次提取特征使得新特征图的特征表达更佳。
2. 1∗1卷积的应用 Network in NetworkNIN NIN提出了MLP卷积层MLP卷积层通过叠加Micro Network网络提高非线性表达而其中的Micro Network基本组成单元是1∗1卷积网路说到这就要解释一下1∗1卷积了该篇论文是首次提出1∗1卷积具有划时代的意义之后的GoogleNet借鉴了1∗1卷积还专门致谢过这篇论文。
Inception GoogleNet首次提出Inception模块Inception一共有V1、V2、V3、V4四个版本这里就不详述了。下图为Inception V1的结构如下图两个图所示。 在充分引入1∗1卷积进行降维后如图b所示总体而言相比于图a其卷积参数量已经减少了近4倍。 在inception结构中大量采用了1∗1卷积主要是两点作用a.对数据进行降维b.引入更多的非线性提高泛化能力因为卷积后要经过ReLU激活函数
ResNet ResNet同样也利用了1∗1卷积并且是在3∗33*3卷积层的前后都使用了不仅进行了降维还进行了升维参数数量进一步减少。其中右图又称为Bottleneck Design目的一目了然就是为了降低参数的数目第一个1∗1的卷积把通道量从256降到64然后在最后通过1∗1卷积恢复整体上用的参数数目差了近16.94倍。 对于常规ResNet可以用于34层或者更少的网络中对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中目的是减少计算和参数量。
参考
卷积神经网络中的1*1卷积究竟有什么用
一文读懂卷积神经网络中的1x1卷积核
