24小时自助下单网站,网站建设周记300字,桂林楼盘网,海外网红营销平台一、本文介绍
本文给大家带来的改进内容是SCConv#xff0c;即空间和通道重构卷积#xff0c;是一种发布于2023.9月份的一个新的改进机制。它的核心创新在于能够同时处理图像的空间#xff08;形状、结构#xff09;和通道#xff08;色彩、深度#xff09;信息#xf…一、本文介绍
本文给大家带来的改进内容是SCConv即空间和通道重构卷积是一种发布于2023.9月份的一个新的改进机制。它的核心创新在于能够同时处理图像的空间形状、结构和通道色彩、深度信息这样的处理方式使得SCConv在分析图像时更加精细和高效。这种技术不仅适用于复杂场景的图像处理还能在普通的对象检测任务中提供更高的精确度(亲测在小目标检测和正常的物体检测中都有效提点)。SCConv的这种能力特别是在处理大量数据和复杂图像时的优势。本文通过先介绍SCConv的基本网络结构和原理当大家对该卷积有一个大概的了解然后教大家如何将该卷积添加到自己的网络结构中(值得一提的是该卷积的GFLOPs降低了0.3左右适合轻量化的读者) 。
适用检测目标所有的目标检测均有一定的提点
推荐指数⭐⭐⭐⭐⭐ 专栏回顾YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备 训练结果对比图- 因为资源有限我发的文章都要做对比实验所以本次实验我只用了一百张图片检测的是火灾训练了一百个epoch该结果只能展示出该机制有效但是并不能产生决定性结果因为具体的效果还要看你的数据集和实验环境所影响(这次找的数据集质量好像不太好效果波动很大)。 大家可以看出mAP(50)提高了大概0.6左右(值得一提的是该卷积的GFLOPs降低了0.3左右适合轻量化的读者) 目录
一、本文介绍
二、网络结构讲解
2.1 SCConv的主要思想
2.2 空间重构单元SRU
2.3 通道重构单元CRU
三、SCConv代码
3.1 SCConv本地代码
3.2 在SCConv外层套用函数
3.3 修改了SCConv的C2f和Bottleneck模块
四、手把手教你添加SCConv和C2f_SCConv模块
4.1 SCConv的添加教程
4.2 SCConv的yaml文件和训练截图
4.2.1 SCConv的yaml文件
4.2.2 SCConv的训练过程截图
五、SCConv可添加的位置
5.1 推荐SCConv可添加的位置
5.2 图示SCConv可添加的位置
六、本文总结 二、网络结构讲解 论文地址官方论文地址
代码地址官方代码地址 2.1 SCConv的主要思想
SCConv空间和通道重构卷积的高效卷积模块以减少卷积神经网络CNN中的空间和通道冗余。SCConv旨在通过优化特征提取过程减少计算资源消耗并提高网络性能。该模块包括两个单元
1.空间重构单元SRUSRU通过分离和重构方法来减少空间冗余。
2.通道重构单元CRUCRU采用分割-变换-融合策略来减少通道冗余。
下面是SCConv的结构示意图- 下面我将分别解释这两个单元- 2.2 空间重构单元SRU
空间重构单元SRU是SCConv模块的一部分负责减少特征在空间维度上的冗余。SRU接收输入特征并通过以下步骤处理
1. 组归一化Group Normalization首先对输入特征进行归一化以减少不同特征图之间的尺度差异。 2. 权重生成通过应用归一化和激活函数如Sigmoid从归一化的特征图中生成权重。 3. 特征分离根据生成的权重对输入特征进行分离形成多个子特征集。 4. 特征重构最后这些分离出来的特征集经过变换和重组产生空间精炼的特征输出以便进一步处理。 上图展示了空间重构单元SRU的架构。SRU的工作流程如下
1. 输入特征X首先进行组归一化GN处理。 2. 分离通过一系列的权重 , , ..., 对特征进行加权这些权重是通过输入特征的通道 经过归一化和非线性激活函数如Sigmoid计算得到的。 3. 重构加权后的特征被分割成两个部分 和然后这两部分各自经过变换最终通过加法和拼接操作重构得到空间精炼特征。 总结这个单元的设计目的是为了减少输入特征的空间冗余从而提高卷积神经网络处理特征的效率。 2.3 通道重构单元CRU
通道重构单元CRU是SCConv模块的一部分旨在减少卷积神经网络特征的通道冗余。CRU对经过空间重构单元SRU处理后的特征进一步操作通过以下步骤减少通道冗余 上图详细展示了通道重构单元CRU的架构该单元从空间精炼特征 \( X^W \) 开始进行处理。CRU的工作流程包括以下几个步骤
1. 分割Split特征 被分割成两部分通过不同比例的和 路径进行不同的1x1卷积处理。 2. 变换Transform通过全局卷积GWC和点卷积PWC进一步变换这两部分特征。 3. 融合Fuse两个变换后的特征 和 经过池化和SoftMax加权融合形成最终的通道精炼特征 。 总结这种结构旨在通过细致地处理各个通道减少不必要的信息并提高网络的整体性能和效率。通过这一过程CRU有效地提高了特征的表征效率同时减少了模型的参数数量和计算成本。 三、SCConv代码
3.1 SCConv核心代码
该代码为SCConv的本体使用方式请看章节四。
import torch
import torch.nn.functional as F
import torch.nn as nnclass GroupBatchnorm2d(nn.Module):def __init__(self, c_num: int,group_num: int 16,eps: float 1e-10):super(GroupBatchnorm2d, self).__init__()assert c_num group_numself.group_num group_numself.weight nn.Parameter(torch.randn(c_num, 1, 1))self.bias nn.Parameter(torch.zeros(c_num, 1, 1))self.eps epsdef forward(self, x):N, C, H, W x.size()x x.view(N, self.group_num, -1)mean x.mean(dim2, keepdimTrue)std x.std(dim2, keepdimTrue)x (x - mean) / (std self.eps)x x.view(N, C, H, W)return x * self.weight self.biasclass SRU(nn.Module):def __init__(self,oup_channels: int,group_num: int 16,gate_treshold: float 0.5,torch_gn: bool True):super().__init__()self.gn nn.GroupNorm(num_channelsoup_channels, num_groupsgroup_num) if torch_gn else GroupBatchnorm2d(c_numoup_channels, group_numgroup_num)self.gate_treshold gate_tresholdself.sigomid nn.Sigmoid()def forward(self, x):gn_x self.gn(x)w_gamma self.gn.weight / sum(self.gn.weight)w_gamma w_gamma.view(1, -1, 1, 1)reweigts self.sigomid(gn_x * w_gamma)# Gatew1 torch.where(reweigts self.gate_treshold, torch.ones_like(reweigts), reweigts) # 大于门限值的设为1否则保留原值w2 torch.where(reweigts self.gate_treshold, torch.zeros_like(reweigts), reweigts) # 大于门限值的设为0否则保留原值x_1 w1 * xx_2 w2 * xy self.reconstruct(x_1, x_2)return ydef reconstruct(self, x_1, x_2):x_11, x_12 torch.split(x_1, x_1.size(1) // 2, dim1)x_21, x_22 torch.split(x_2, x_2.size(1) // 2, dim1)return torch.cat([x_11 x_22, x_12 x_21], dim1)class CRU(nn.Module):alpha: 0alpha1def __init__(self,op_channel: int,alpha: float 1 / 2,squeeze_radio: int 2,group_size: int 2,group_kernel_size: int 3,):super().__init__()self.up_channel up_channel int(alpha * op_channel)self.low_channel low_channel op_channel - up_channelself.squeeze1 nn.Conv2d(up_channel, up_channel // squeeze_radio, kernel_size1, biasFalse)self.squeeze2 nn.Conv2d(low_channel, low_channel // squeeze_radio, kernel_size1, biasFalse)# upself.GWC nn.Conv2d(up_channel // squeeze_radio, op_channel, kernel_sizegroup_kernel_size, stride1,paddinggroup_kernel_size // 2, groupsgroup_size)self.PWC1 nn.Conv2d(up_channel // squeeze_radio, op_channel, kernel_size1, biasFalse)# lowself.PWC2 nn.Conv2d(low_channel // squeeze_radio, op_channel - low_channel // squeeze_radio, kernel_size1,biasFalse)self.advavg nn.AdaptiveAvgPool2d(1)def forward(self, x):# Splitup, low torch.split(x, [self.up_channel, self.low_channel], dim1)up, low self.squeeze1(up), self.squeeze2(low)# TransformY1 self.GWC(up) self.PWC1(up)Y2 torch.cat([self.PWC2(low), low], dim1)# Fuseout torch.cat([Y1, Y2], dim1)out F.softmax(self.advavg(out), dim1) * outout1, out2 torch.split(out, out.size(1) // 2, dim1)return out1 out2class ScConv(nn.Module):def __init__(self,op_channel: int,group_num: int 4,gate_treshold: float 0.5,alpha: float 1 / 2,squeeze_radio: int 2,group_size: int 2,group_kernel_size: int 3,):super().__init__()self.SRU SRU(op_channel,group_numgroup_num,gate_tresholdgate_treshold)self.CRU CRU(op_channel,alphaalpha,squeeze_radiosqueeze_radio,group_sizegroup_size,group_kernel_sizegroup_kernel_size)def forward(self, x):x self.SRU(x)x self.CRU(x)return xif __name__ __main__:x torch.randn(1, 32, 16, 16)model ScConv(32)print(model(x).shape) 3.2 在SCConv外层套用函数代码
因为以上的代码不能够直接使用在我们的YOLOv8中会报错而且参数对不上我对其外层嵌套了一个模块。
class SCConv_yolov8(nn.Module):def __init__(self, in_channels, out_channels, kernel_size1, stride1, g1, dilation1):super().__init__()self.conv Conv(in_channels, out_channels, k1)self.RFAConv ScConv(out_channels)self.bn nn.BatchNorm2d(out_channels)self.gelu nn.GELU()def forward(self, x):x self.conv(x)x self.RFAConv(x)x self.gelu(self.bn(x))return x 3.3 修改了SCConv的C2f和Bottleneck模块
class Bottleneck_SCConv(nn.Module):Standard bottleneck.def __init__(self, c1, c2, shortcutTrue, g1, k(3, 3), e0.5):Initializes a bottleneck module with given input/output channels, shortcut option, group, kernels, andexpansion.super().__init__()c_ int(c2 * e) # hidden channelsself.cv1 Conv(c1, c_, k[0], 1)self.cv2 SCConv_yolov8(c_, c2, k[1], 1, gg)self.add shortcut and c1 c2def forward(self, x):forward() applies the YOLO FPN to input data.return x self.cv2(self.cv1(x)) if self.add else self.cv2(self.cv1(x))class C2f_SCConv(nn.Module):Faster Implementation of CSP Bottleneck with 2 convolutions.def __init__(self, c1, c2, n1, shortcutFalse, g1, e0.5):Initialize CSP bottleneck layer with two convolutions with arguments ch_in, ch_out, number, shortcut, groups,expansion.super().__init__()self.c int(c2 * e) # hidden channelsself.cv1 Conv(c1, 2 * self.c, 1, 1)self.cv2 Conv((2 n) * self.c, c2, 1) # optional actFReLU(c2)self.m nn.ModuleList(Bottleneck_SCConv(self.c, self.c, shortcut, g, k((3, 3), (3, 3)), e1.0) for _ in range(n))def forward(self, x):Forward pass through C2f layer.x self.cv1(x)x x.chunk(2, 1)y list(x)# y list(self.cv1(x).chunk(2, 1))y.extend(m(y[-1]) for m in self.m)return self.cv2(torch.cat(y, 1))def forward_split(self, x):Forward pass using split() instead of chunk().y list(self.cv1(x).split((self.c, self.c), 1))y.extend(m(y[-1]) for m in self.m)return self.cv2(torch.cat(y, 1)) 四、手把手教你添加SCConv和C2f_SCConv模块
4.1 SCConv的添加教程
添加教程这里不再重复介绍、因为专栏内容有许多添加过程又需要截特别图片会导致文章大家读者也不通顺如果你已经会添加注意力机制了可以跳过本章节如果你还不会大家可以看我下面的文章里面详细的介绍了拿到一个任意机制(C2f、Conv、Bottleneck、Loss、DetectHead)如何添加到你的网络结构中去。
这个卷积也可以放在C2f和Bottleneck中进行使用可以即插即用个人觉得放在Bottleneck中效果比较好。 添加教程-YOLOv8改进 | 如何在网络结构中添加注意力机制、C2f、卷积、Neck、检测头 4.2 SCConv的yaml文件和训练截图
4.2.1 SCConv的yaml文件
下面的配置文件为我修改的SCConv的位置。 # Ultralytics YOLO , AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. modelyolov8n.yaml will call yolov8.yaml with scale n# [depth, width, max_channels]n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPss: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPsm: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPsl: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]] # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, nearest]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 3, C2f, [512]] # 12- [-1, 1, nn.Upsample, [None, 2, nearest]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 3, C2f_SCConv, [256]] # 15 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]] # cat head P4- [-1, 3, C2f_SCConv, [512]] # 18 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]] # cat head P5- [-1, 3, C2f_SCConv, [1024]] # 21 (P5/32-large)- [[15, 18, 21], 1, Detect, [nc]] # Detect(P3, P4, P5)4.2.2 SCConv的训练过程截图 下面是添加了SCConv的训练截图。 下面的是将SCConv机制添加到了C2f和Bottleneck。 (最近有人说我改的代码是没有发全的我不知道这群人是怎么说出这种话的希望大家如果用我的代码成功的可以在评论区支持一下我也好发更多的改进毕竟免费给大家看。同时有问题皆可在评论区留言我看到都会回复)
五、SCConv可添加的位置
5.1 推荐SCConv可添加的位置
SCConv是一种即插即用的模块其可以添加的位置有很多添加的位置不同效果也不同所以我下面推荐几个添加的位置大家可以进行参考当然不一定要按照我推荐的地方添加。 残差连接中在残差网络的残差连接中加入SCConv Neck部分YOLOv8的Neck部分负责特征融合这里添加修改后的C2f_SCConv可以帮助模型更有效地融合不同层次的特征。 检测头中的卷积在最终的输出层前加入SCConv可以使模型在做出最终预测之前更加集中注意力于最关键的特征。 文字大家可能看我描述不太懂大家可以看下面的网络结构图中我进行了标注。 5.2 图示SCConv可添加的位置
六、本文总结
到此本文的正式分享内容就结束了在这里给大家推荐我的YOLOv8改进有效涨点专栏本专栏目前为新开的平均质量分98分后期我会根据各种最新的前沿顶会进行论文复现也会对一些老的改进机制进行补充目前本专栏免费阅读(暂时大家尽早关注不迷路~)如果大家觉得本文帮助到你了订阅本专栏关注后续更多的更新~ 专栏回顾YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备
