网站产品类别顺序如果修改,wordpress多城市seo,最近时事新闻热点,知名企业网站人才招聘情况CSPNet的贡献
1.增强了CNN的学习能力#xff0c;能够在轻量化的同时保持准确性。 2.降低计算瓶颈。 3.降低内存成本。
CSPNet介绍
在神经网络推理过程中计算量过高的问题是由于网络优化中的梯度信息重复导致的。CSPNet通过将梯度的变化从头到尾地集成到特征图中#xff0c…CSPNet的贡献
1.增强了CNN的学习能力能够在轻量化的同时保持准确性。 2.降低计算瓶颈。 3.降低内存成本。
CSPNet介绍
在神经网络推理过程中计算量过高的问题是由于网络优化中的梯度信息重复导致的。CSPNet通过将梯度的变化从头到尾地集成到特征图中在减少了计算量的同时可以保证准确率。
CSPNet不仅仅是一个网络更是一个处理思想可以和ResNet、ResNext、DenseNet、EfficientNet等网络结合。
从下图可以看出CSPNet与其他模型结合后的效果 CSPNet的结构
作者给出了几种设计思路 【①密集块Dense Block是DenseNet网络结构的核心部分它是由多个密集连接层Dense Layer组成的模块用于提取图像中的特征信息。 在每个密集块中所有前面层的输出都会与当前层的输入进行连接并通过一个非线性变换进行处理。】
上图中的Transition Layer代表过渡层主要包含瓶颈层( 1 × 1 卷 积 ) 和池化层可选。 其中a图是原始的DenseNet的特征融合方式。b图是CSPDenseNet的特征融合方式。c图是Fusion First的特征融合方式。d图是Fusion Last的特征融合方式。
Fusion First的方式是对两个分支的feature map先进行concatenation操作这样梯度信息可以被重用。
Fusion Last的方式是对Dense Block所在分支先进行transtion操作然后再进行concatenation梯度信息将被截断因此不会重复性使用梯度信息。 上图是对Fusion First、Fusion Last和CSP最终结构进行实验对比我们可以得到如下结论
使用Fusion First有助于降低计算代价但是准确率有显著下降。 使用Fusion Last也是极大降低了计算代价top-1 accuracy仅仅下降了0.1个百分点。 同时使用Fusion First和Fusion Last相结合的CSP所采用的融合方式可以在降低计算代价的同时提升准确率。 下图是DenseNet的示意图和CSPDenseNet的改进示意图
改进点在于CSPNet将浅层特征映射为两个部分一部分经过Dense模块图中的Partial Dense Block,另一部分直接与Partial Dense Block输出进行concate。
CSP思想的应用 CSP思想也可以应用到ResNet或者ResNeXt中
总结 CSPNet和PRN都是一个思想将feature map拆成两个部分一部分进行卷积操作另一部分和上一部分卷积操作的结果进行concate。
从实验结果来看分类问题中使用CSPNet可以降低计算量但是准确率提升很小在目标检测问题中使用CSPNet作为Backbone带来的提升比较大可以有效增强CNN的学习能力同时也降低了计算量。
