金华网站定制公司,wordpress获取当前页面的别名,企业电子网站建设,网站建设的主要工作在写论文时#xff0c;设计高效、创新的卷积块可以显著提升模型的性能#xff0c;保障工作的有效性和先进性。另外#xff0c;合理利用卷积块还可以帮助我们提升实验结果、拓展研究的视野和应用场景#xff0c;增加论文的创新点。因此#xff0c;对于论文er来说#xff0…在写论文时设计高效、创新的卷积块可以显著提升模型的性能保障工作的有效性和先进性。另外合理利用卷积块还可以帮助我们提升实验结果、拓展研究的视野和应用场景增加论文的创新点。因此对于论文er来说掌握卷积块的设计和应用对于撰写高质量的学术论文必不可少。
今天学姐就来分享涨点必备的9个卷积块包含2024年最新这些卷积块的来源文章以及代码学姐都整理了还帮同学们罗列了创新点更详细的工作细节还是建议各位仔细阅读原文。
论文和模块代码需要的同学看文末
1.Efficient Deformable ConvNets: Rethinking Dynamic and Sparse Operator for Vision Applications
涨点神器DCNv4新一代高效的可变形卷积
方法DCNv4是一种高效的动态和稀疏操作符。通过重新思考可变形卷积的动态特性并简化内存访问DCNv4比其前身DCNv3更快、更有效。DCNv4配备的FlashInternImage骨干网络不仅提高了速度还改善了各种视觉任务的性能。作者还展示了DCNv4作为通用操作符的多功能性和有效性将其集成到ConvNeXt和ViT等最先进的架构中提高了吞吐量和准确性它在潜在扩散模型中也表现良好显示出增强生成模型的潜力。
创新点 DCNv4是一种高效的动态和稀疏操作符通过重新思考可变卷积的动态特性和简化内存访问比其前身DCNv3更快更有效。 DCNv4在FlashInternImage骨干网络中的应用不仅提高了速度还改善了各种视觉任务的性能。 DCNv4通过将其集成到ConvNeXt和ViT等先进架构中提高了吞吐量和准确性同时在潜在扩散模型中也表现良好展示了其增强生成模型的潜力。 2.CoordGate: Efficiently Computing Spatially-Varying Convolutions in Convolutional Neural Networks
CNN涨点神器CoordGate计算空间变化卷积
方法CoordConv在卷积之前将坐标附加到数据上而CoordGate则通过一个编码器网络将坐标传递并通过乘法门应用于卷积后的数据类似于通道注意机制中的门控。这种技术能够根据空间位置选择性地放大或衰减滤波器并且相比现有的CNNs它提供了大幅度的效率提升。
创新点 CoordGate是一种新颖的轻量级模块通过使用乘法门和坐标编码网络实现了在CNN中高效计算空间变化卷积的功能。 CoordGate可以根据空间位置选择性地放大或衰减滤波器有效地像本地连接的神经网络一样工作。 CoordGate在U-Net中的应用表明它在图像去模糊等各种计算机视觉应用中优于传统方法提供了更强大和空间感知的解决方案。 3.Run, Dont Walk: Chasing Higher FLOPS for Faster Neural Networkscvpr2023
即插即用部分卷积减少冗余计算和内存访问更有效地提取空间特征
方法论文介绍了PConv和FasterNet这两种快速有效的神经网络模型。PConv是一种设计用于仅对部分输入通道应用常规卷积的方法而保持其余通道不变。而FasterNet则是基于卷积算子构建的网络模型其感受野可能有限。论文还提到了这两种模型的一些技术限制如PConv的部分卷积步长必须为1以保持卷积输出和未触及通道的空间分辨率一致。
创新点 作者提出了一种简单而快速有效的算子PConv可以解决DWConv的内存访问频繁的问题并且可以轻松地插入到许多现有的网络中。 作者引入了FasterNet它在GPU、CPU和ARM处理器等各种设备上都能运行得非常快速和普遍。 作者的PConv和FasterNet在速度和准确性方面与现有的算子和网络相比具有竞争力但仍有一些技术上的限制可以通过扩大感受野和与其他算子结合来追求更高的准确性。 4.SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy
涨点神器SCConv即插即用的空间和通道重建卷积
方法本文研究了深度神经网络中存在的冗余问题并提出了一种新的CNN压缩方法称为SCConvSpatial and Channel reconstruction Convolution旨在减少参数和计算量而不损失性能。SCConv模块由两个单元组成即空间重构单元SRU和通道重构单元CRU可以嵌入到各种架构中。
创新点 提出了一种通道重构单元称为CRU它利用分割-变换-融合策略来减少通道维度中的冗余以及计算成本和存储。 设计了一个两步骤的过程来利用中间特征图的冗余目的是减少参数和计算量而不损失性能。为此作者提出了一种新颖的CNN压缩方法即SCConv空间和通道重构卷积它由两个单元组成即空间重构单元SRU和通道重构单元CRU。 5.Omni-Dimensional Dynamic Convolution
即插即用的动态卷积ODConv
方法作者介绍了一种名为Omni-dimensional Dynamic ConvolutionODConv的新型动态卷积设计旨在提升深度卷积神经网络CNN的表示能力。ODConv利用多维注意机制在卷积核空间的四个维度上学习四种类型的注意力并以并行方式逐步应用这些注意力到相应的卷积核上从而显著增强CNN的基本卷积操作的特征提取能力。
创新点 作者的首要创新贡献是一种更加通用且优雅的动态卷积设计称为全维动态卷积ODConv。 ODConv利用一种多维注意机制在卷积核空间的四个维度上学习四种类型的注意力并以并行方式逐渐应用于相应的卷积核从而大大增强了CNN基本卷积操作的特征提取能力。 ODConv即使只使用一个单一的卷积核也能与现有的具有多个卷积核的动态卷积方法竞争或超越从而大大减少了额外的参数。 6.KernelWarehouse: Towards Parameter-EffcientDynamic Convolution
让ResNet/MobileNet/ConvNeXt等Backbone一起涨点
方法本文介绍了KernelWarehouse一种改进现代ConvNets性能的动态卷积方法。研究结果表明在KernelWarehouse中增强更多核心单元之间的仓库共享通常会导致更好的性能。
创新点 不同维度的卷积核之间的仓库共享。作者在主流的卷积神经网络设计中一个卷积块通常包含多个具有不同维度k × k × c × f的卷积核。作者通过对ResNet50骨干网络进行实验探索了在卷积块中不同维度的卷积核之间进行仓库共享的效果。 ConvNeXt-Tiny中KernelWarehouse的设计细节。对于ConvNeXt骨干网络作者将KernelWarehouse应用于所有的卷积层。在每个阶段中相应的三个仓库分别共享给逐点卷积层、深度卷积层和下采样层。作者使用最大公约数维度除数作为静态卷积核的统一核单元维度进行核分区。 7.REFCONV: RE-PARAMETERIZED REFOCUSING CONVOLUTION FOR POWERFUL CONVNETS
重参数化重聚焦卷积替代常规卷积无额外推理成本下涨点明显
方法论文介绍了一种名为Re-parameterized Refocusing ConvolutionRefConv的重新参数化方法通过在卷积核参数之间建立额外的连接来增强现有模型结构的先验知识。RefConv作为一种插拔式模块可以在不改变原始模型结构或引入额外推理成本的情况下显著提高各种CNN在多个任务上的性能。此外通过展示RefConv减少通道冗余和平滑损失函数的能力论文解释了RefConv的有效性这可能会激发进一步的训练动态理论研究。
创新点 提出了Re-parameterized Refocusing通过与学习的卷积核建立连接来增强现有结构的先验。因此重新参数化的卷积核可以学习更多样化的表示从而进一步提高训练的CNN的表示能力。 证明了RefConv可以减少通道冗余和平滑损失函数从而解释了其有效性。 8.UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition
ImageNet88%顺手统一多模态SOTA大核卷积江湖
方法本文探讨了大卷积核ConvNet架构重新思考了传统模型设计中使用深度堆叠小卷积核的方法。通过将3×3卷积添加到小卷积核ConvNet中我们期望同时产生三个效果1扩大感受野2增加空间模式的抽象层次例如从角度和纹理到物体形状3通过增加深度改进模型的一般表示能力引入更多可学习的参数和非线性。
本文还介绍了一种基于块设计的架构指导原则即使用既能进行通道间通信又能进行空间聚合的高效结构来增加深度。通过在模型中插入一些结构来普遍提升模型的表示能力包括非线性和高效的可训练变换。
创新点 作者通过调整深度和宽度来构建UniRepLKNet模型该模型在速度和准确性方面都表现出色。 经过ImageNet-22K预训练后UniRepLKNet-S的准确性甚至接近RepLKNet-31L并且比后者运行速度快3倍。 9.AKConv: Convolutional Kernel with Arbitrary Sampled Shapes andArbitrary Number of Parameters
即插即用的卷积操作来替代常规卷积操作以提高网络性能
方法本文提出了一种名为AKConv的卷积操作可以实现任意样本形状和大小的卷积核从而提供了卷积核选择的多样性。通过在YOLOv5、YOLOv7和YOLOv8等模型上进行目标检测实验验证了AKConv的优势。
创新点 为不同大小的卷积核提供了一种生成初始采样坐标的算法。 通过调整不规则卷积核的采样位置适应目标的不同变化。 AKConv设计了多种初始采样形状可以实现任意采样形状的卷积核操作。 关注下方《学姐带你玩AI》
回复“卷积块”获取论文模块代码
码字不易欢迎大家点赞评论收藏
