江苏建设信息网站,徐州网站开发口碑好,网页设计如何收费,设计师必去十大网站一、本文介绍
本文给大家带来的改进内容是LSKNet#xff08;Large Kernel Selection, LK Selection#xff09;#xff0c;其是一种专为遥感目标检测设计的网络架构#xff0c;其核心思想是动态调整其大的空间感受野#xff0c;以更好地捕捉遥感场景中不同对象的范围上下…一、本文介绍
本文给大家带来的改进内容是LSKNetLarge Kernel Selection, LK Selection其是一种专为遥感目标检测设计的网络架构其核心思想是动态调整其大的空间感受野以更好地捕捉遥感场景中不同对象的范围上下文。实验部分我在一个包含三十多个类别的数据集上进行实验其中包含大目标检测和小目标检测mAP的平均涨点幅度在0.04-0.1之间(也有极个别的情况没有涨点)同时官方的版本只提供了一个大版本我在其基础上提供一个轻量化版本给大家选择本文会先给大家对比试验的结果供大家参考。
推荐指数⭐⭐⭐⭐⭐ 专栏回顾YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备 训练结果对比图-
实验部分我在一个包含三十多个类别的数据集上进行实验其中包含大目标检测和小目标检测mAP的平均涨点幅度在0.04-0.1之间(也有极个别的情况没有涨点) 目录
一、本文介绍
二、LSKNet原理
2.1 LSKNet的基本原理
2.2 大型核选择LK Selection子块
2.3 前馈网络FFN子块
三、LSKNet核心代码
四、手把手教你添加LSKNet
修改一
修改二
修改三
修改四
修改五
修改六
修改七
修改八
五、LSKNet的yaml文件
5.1 LSKNet的yaml文件版本1
5.2 LSKNet的yaml文件版本2
六、成功运行记录
七、本文总结 二、LSKNet原理 论文地址 官方论文地址
代码地址 官方代码地址 2.1 LSKNet的基本原理
LSKNetLarge Selective Kernel Network是一种专为遥感目标检测设计的网络架构其核心优势在于能够动态调整其大的空间感受野以更好地捕捉遥感场景中不同对象的范围上下文。这是第一次在遥感目标检测领域探索大型和选择性核机制。
LSKNet大型选择性核网络的基本原理包括以下关键组成部分
1. 大型核选择LK Selection子块这个子块能够动态地调整网络的感受野以便根据需要捕获不同尺度的上下文信息。这使得网络能够根据遥感图像中对象的不同尺寸和复杂性调整其处理能力。
2. 前馈网络FFN子块该子块用于通道混合和特征精炼。它由一个完全连接的层、一个深度卷积、一个GELU激活函数以及第二个完全连接的层组成。这些组件一起工作提高了特征的质量并为分类和检测提供了必要的信息。
这两个子块共同构成LSKNet块能够提供大范围的上下文信息同时保持对细节的敏感度这对于遥感目标检测尤其重要。
下面我将为大家展示四种不同的选择性机制模块的架构比较 对于LSK模块
1. 有一个分解步骤似乎是用来处理大尺寸的卷积核Large K。 2. 接着是一个空间选择*步骤可能用于选择或优化空间信息的特定部分。
这与其他三种模型的架构相比较显示了LSK模块在处理空间信息方面可能有其独特的方法。具体来说LSK模块似乎强调了在大尺寸卷积核上进行操作这可能有助于捕获遥感图像中较大范围的上下文信息这对于检测图像中的对象特别有用。空间选择步骤可能进一步增强了模型对于输入空间特征的选择能力从而使其能够更加有效地聚焦于图像的重要部分。 2.2 大型核选择LK Selection子块
LSKNet的大型核选择Large Kernel Selection, LK Selection子块是其架构的核心组成部分之一。这个子块的功能是根据需要动态调整网络的感受野大小。通过这种方式LSKNet能够根据遥感图像中不同对象的大小和上下文范围调整处理这些对象所需的空间信息范围。
大型核选择子块与前馈网络Feed-forward Network, FFN子块一起工作。FFN子块用于通道混合和特征细化它包括一个序列这个序列由一个全连接层、一个深度卷积、一个GELU激活函数以及第二个全连接层组成。这种设计允许LSKNet块进行特征深度融合和增强进一步提升了遥感目标检测的性能。
下面我将通过LSKLarge Selective Kernel模块的概念性插图展示LSKNet如何通过大型核选择子块和空间选择机制来处理遥感数据从而使网络能够适应不同对象的长范围上下文需求。 1. Large Kernel Decomposition原始输入经过大核分解使用两种不同的大型卷积核Large K进行处理以捕获不同尺度的空间信息。
2. Channel Concatenation两个不同的卷积输出和通过通道拼接组合在一起这样可以在后续步骤中同时利用不同的空间特征。
3. Mixed Pooling拼接后的特征图经过平均池化和最大池化的组合操作然后与自注意力SA机制一起使用以进一步强化特征图的关键区域。
4. Convolution and Spatial Selection通过卷积操作和自注意力SA生成新的特征图然后通过空间选择机制进一步增强对目标区域的关注。
5. Element Product and Sigmoid使用Sigmoid函数生成一个掩码然后将这个掩码与特征图进行元素乘积操作得到最终的输出特征图。这一步骤用于加权特征图中更重要的区域以增强网络对遥感图像中特定对象的检测能力。
整个LSK模块的设计强调了对遥感图像中不同空间尺度和上下文信息的有效捕获这对于在复杂背景下准确检测小型或密集排布的目标至关重要。通过上述步骤的复合操作LSK模块能够提升遥感目标检测的性能。 2.3 前馈网络FFN子块
LSKNet的前馈网络Feed-forward Network, FFN子块用于通道混合和特征精炼。该子块包含以下组成部分
1. 全连接层用于特征变换提供网络额外的学习能力。2. 深度卷积depth-wise convolution用于在通道间独立地应用空间滤波减少参数量的同时保持效果。3. GELU激活函数一种高斯误差线性单元用于引入非线性提高模型的表达能力。4. 第二个全连接层进一步变换和精炼特征。
这个FFN子块紧随LK Selection子块之后作用是在保持特征空间信息的同时增强网络在特征通道上的表示能力。通过这种设计FFN子块有效地对输入特征进行了深度加工提升了最终特征的质量从而有助于提高整个网络在遥感目标检测任务中的性能。 三、LSKNet核心代码
将此代码复制粘贴到ultralytics/nn/modules目录下新建一个py文件我这里起名字为LSKNet.py然后把代码复制粘贴进去即可使用教程看章节四。
import torch
import torch.nn as nn
from torch.nn.modules.utils import _pair as to_2tuple
from timm.models.layers import DropPath, to_2tuple
from functools import partial
import warningsclass Mlp(nn.Module):def __init__(self, in_features, hidden_featuresNone, out_featuresNone, act_layernn.GELU, drop0.):super().__init__()out_features out_features or in_featureshidden_features hidden_features or in_featuresself.fc1 nn.Conv2d(in_features, hidden_features, 1)self.dwconv DWConv(hidden_features)self.act act_layer()self.fc2 nn.Conv2d(hidden_features, out_features, 1)self.drop nn.Dropout(drop)def forward(self, x):x self.fc1(x)x self.dwconv(x)x self.act(x)x self.drop(x)x self.fc2(x)x self.drop(x)return xclass LSKblock(nn.Module):def __init__(self, dim):super().__init__()self.conv0 nn.Conv2d(dim, dim, 5, padding2, groupsdim)self.conv_spatial nn.Conv2d(dim, dim, 7, stride1, padding9, groupsdim, dilation3)self.conv1 nn.Conv2d(dim, dim // 2, 1)self.conv2 nn.Conv2d(dim, dim // 2, 1)self.conv_squeeze nn.Conv2d(2, 2, 7, padding3)self.conv nn.Conv2d(dim // 2, dim, 1)def forward(self, x):attn1 self.conv0(x)attn2 self.conv_spatial(attn1)attn1 self.conv1(attn1)attn2 self.conv2(attn2)attn torch.cat([attn1, attn2], dim1)avg_attn torch.mean(attn, dim1, keepdimTrue)max_attn, _ torch.max(attn, dim1, keepdimTrue)agg torch.cat([avg_attn, max_attn], dim1)sig self.conv_squeeze(agg).sigmoid()attn attn1 * sig[:, 0, :, :].unsqueeze(1) attn2 * sig[:, 1, :, :].unsqueeze(1)attn self.conv(attn)return x * attnclass Attention(nn.Module):def __init__(self, d_model):super().__init__()self.proj_1 nn.Conv2d(d_model, d_model, 1)self.activation nn.GELU()self.spatial_gating_unit LSKblock(d_model)self.proj_2 nn.Conv2d(d_model, d_model, 1)def forward(self, x):shorcut x.clone()x self.proj_1(x)x self.activation(x)x self.spatial_gating_unit(x)x self.proj_2(x)x x shorcutreturn xclass Block(nn.Module):def __init__(self, dim, mlp_ratio4., drop0., drop_path0., act_layernn.GELU, norm_cfgNone):super().__init__()if norm_cfg:self.norm1 nn.BatchNorm2d(norm_cfg, dim)self.norm2 nn.BatchNorm2d(norm_cfg, dim)else:self.norm1 nn.BatchNorm2d(dim)self.norm2 nn.BatchNorm2d(dim)self.attn Attention(dim)self.drop_path DropPath(drop_path) if drop_path 0. else nn.Identity()mlp_hidden_dim int(dim * mlp_ratio)self.mlp Mlp(in_featuresdim, hidden_featuresmlp_hidden_dim, act_layeract_layer, dropdrop)layer_scale_init_value 1e-2self.layer_scale_1 nn.Parameter(layer_scale_init_value * torch.ones((dim)), requires_gradTrue)self.layer_scale_2 nn.Parameter(layer_scale_init_value * torch.ones((dim)), requires_gradTrue)def forward(self, x):x x self.drop_path(self.layer_scale_1.unsqueeze(-1).unsqueeze(-1) * self.attn(self.norm1(x)))x x self.drop_path(self.layer_scale_2.unsqueeze(-1).unsqueeze(-1) * self.mlp(self.norm2(x)))return xclass OverlapPatchEmbed(nn.Module): Image to Patch Embeddingdef __init__(self, img_size224, patch_size7, stride4, in_chans3, embed_dim768, norm_cfgNone):super().__init__()patch_size to_2tuple(patch_size)self.proj nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridestride,padding(patch_size[0] // 2, patch_size[1] // 2))if norm_cfg:self.norm nn.BatchNorm2d(norm_cfg, embed_dim)else:self.norm nn.BatchNorm2d(embed_dim)def forward(self, x):x self.proj(x)_, _, H, W x.shapex self.norm(x)return x, H, Wclass LSKNet(nn.Module):def __init__(self, img_size224, in_chans3, dimNone, embed_dims[64, 128, 256, 512],mlp_ratios[8, 8, 4, 4], drop_rate0., drop_path_rate0., norm_layerpartial(nn.LayerNorm, eps1e-6),depths[3, 4, 6, 3], num_stages4,pretrainedNone,init_cfgNone,norm_cfgNone):super().__init__()assert not (init_cfg and pretrained), \init_cfg and pretrained cannot be set at the same timeif isinstance(pretrained, str):warnings.warn(DeprecationWarning: pretrained is deprecated, please use init_cfg instead)self.init_cfg dict(typePretrained, checkpointpretrained)elif pretrained is not None:raise TypeError(pretrained must be a str or None)self.depths depthsself.num_stages num_stagesdpr [x.item() for x in torch.linspace(0, drop_path_rate, sum(depths))] # stochastic depth decay rulecur 0for i in range(num_stages):patch_embed OverlapPatchEmbed(img_sizeimg_size if i 0 else img_size // (2 ** (i 1)),patch_size7 if i 0 else 3,stride4 if i 0 else 2,in_chansin_chans if i 0 else embed_dims[i - 1],embed_dimembed_dims[i], norm_cfgnorm_cfg)block nn.ModuleList([Block(dimembed_dims[i], mlp_ratiomlp_ratios[i], dropdrop_rate, drop_pathdpr[cur j], norm_cfgnorm_cfg)for j in range(depths[i])])norm norm_layer(embed_dims[i])cur depths[i]setattr(self, fpatch_embed{i 1}, patch_embed)setattr(self, fblock{i 1}, block)setattr(self, fnorm{i 1}, norm)self.width_list [i.size(1) for i in self.forward(torch.randn(1, 3, 640, 640))]def freeze_patch_emb(self):self.patch_embed1.requires_grad Falsetorch.jit.ignoredef no_weight_decay(self):return {pos_embed1, pos_embed2, pos_embed3, pos_embed4, cls_token} # has pos_embed may be betterdef get_classifier(self):return self.headdef reset_classifier(self, num_classes, global_pool):self.num_classes num_classesself.head nn.Linear(self.embed_dim, num_classes) if num_classes 0 else nn.Identity()def forward_features(self, x):B x.shape[0]outs []for i in range(self.num_stages):patch_embed getattr(self, fpatch_embed{i 1})block getattr(self, fblock{i 1})norm getattr(self, fnorm{i 1})x, H, W patch_embed(x)for blk in block:x blk(x)x x.flatten(2).transpose(1, 2)x norm(x)x x.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()outs.append(x)return outsdef forward(self, x):x self.forward_features(x)# x self.head(x)return xclass DWConv(nn.Module):def __init__(self, dim768):super(DWConv, self).__init__()self.dwconv nn.Conv2d(dim, dim, 3, 1, 1, biasTrue, groupsdim)def forward(self, x):x self.dwconv(x)return xdef _conv_filter(state_dict, patch_size16): convert patch embedding weight from manual patchify linear proj to convout_dict {}for k, v in state_dict.items():if patch_embed.proj.weight in k:v v.reshape((v.shape[0], 3, patch_size, patch_size))out_dict[k] vreturn out_dictdef LSKNET_Tiny():model LSKNet(depths [2, 2, 2, 2])return modelif __name__ __main__:model LSKNet()inputs torch.randn((1, 3, 640, 640))for i in model(inputs):print(i.size()) 四、手把手教你添加LSKNet
这个主干的网络结构添加起来算是所有的改进机制里最麻烦的了因为有一些网络结构可以用yaml文件搭建出来有一些网络结构其中的一些细节根本没有办法用yaml文件去搭建用yaml文件去搭建会损失一些细节部分(而且一个网络结构设计很多细节的结构修改方式都不一样一个一个去修改大家难免会出错)所以这里让网络直接返回整个网络然后修改部分 yolo代码以后就都以这种形式添加了以后我提出的网络模型基本上都会通过这种方式修改我也会进行一些模型细节改进。创新出新的网络结构大家直接拿来用就可以的。下面开始添加教程-
(同时每一个后面都有代码大家拿来复制粘贴替换即可但是要看好了不要复制粘贴替换多了)
同时下面的教程完全可以大家也可以看我另一篇总结性的教程里面包含了所有的修改方法。 添加教程-YOLOv8改进 | 如何在网络结构中添加注意力机制、C2f、卷积、Neck、检测头 修改一
我们复制网络结构代码到“ultralytics/nn/modules”目录下创建一个py文件复制粘贴进去 我这里起的名字是LSKNet。 修改二
找到如下的文件ultralytics/nn/tasks.py 在开始的部分导入我们的模型如下图。
(这里需要注意的是我提供了两个版本的LSKNet网络一个是轻量化的一个是官方正常版本的需要使用那个看个人需求LSKNet是正常版本的另一个是轻量化的。) 修改三
添加如下两行代码 修改四
找到七百多行大概把具体看图片按照图片来修改就行添加红框内的部分注意没有()只是函数名。 elif m in {LSKNet, LSKNET_Tiny}:m m()c2 m.width_list # 返回通道列表backbone True修改五
下面的两个红框内都是需要改动的。 if isinstance(c2, list):m_ mm_.backbone Trueelse:m_ nn.Sequential(*(m(*args) for _ in range(n))) if n 1 else m(*args) # modulet str(m)[8:-2].replace(__main__., ) # module typem.np sum(x.numel() for x in m_.parameters()) # number paramsm_.i, m_.f, m_.type i 4 if backbone else i, f, t # attach index, from index, type 修改六
如下的也需要修改全部按照我的来。
代码如下把原先的代码替换了即可。 save.extend(x % (i 4 if backbone else i) for x in ([f] if isinstance(f, int) else f) if x ! -1) # append to savelistlayers.append(m_)if i 0:ch []if isinstance(c2, list):ch.extend(c2)if len(c2) ! 5:ch.insert(0, 0)else:ch.append(c2) 修改七
修改七和前面的都不太一样需要修改前向传播中的一个部分 已经离开了parse_model方法了。
可以在图片中开代码行数没有离开task.py文件都是同一个文件。 同时这个部分有好几个前向传播都很相似大家不要看错了是70多行左右的同时我后面提供了代码大家直接复制粘贴即可有时间我针对这里会出一个视频。 代码如下- def _predict_once(self, x, profileFalse, visualizeFalse):Perform a forward pass through the network.Args:x (torch.Tensor): The input tensor to the model.profile (bool): Print the computation time of each layer if True, defaults to False.visualize (bool): Save the feature maps of the model if True, defaults to False.Returns:(torch.Tensor): The last output of the model.y, dt [], [] # outputsfor m in self.model:if m.f ! -1: # if not from previous layerx y[m.f] if isinstance(m.f, int) else [x if j -1 else y[j] for j in m.f] # from earlier layersif profile:self._profile_one_layer(m, x, dt)if hasattr(m, backbone):x m(x)if len(x) ! 5: # 0 - 5x.insert(0, None)for index, i in enumerate(x):if index in self.save:y.append(i)else:y.append(None)x x[-1] # 最后一个输出传给下一层else:x m(x) # runy.append(x if m.i in self.save else None) # save outputif visualize:feature_visualization(x, m.type, m.i, save_dirvisualize)return x 到这里就完成了修改部分但是这里面细节很多大家千万要注意不要替换多余的代码导致报错也不要拉下任何一部都会导致运行失败而且报错很难排查很难排查 修改八
这个Swin Transformer和其他的不太一样会导致计算的GFLOPs计算异常所以需要额外修改一处 我们找到如下文件ultralytics/utils/torch_utils.py按照如下的图片进行修改。 五、LSKNet的yaml文件
复制如下yaml文件进行运行 5.1 LSKNet的yaml文件版本1 # Ultralytics YOLO , AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. modelyolov8n.yaml will call yolov8.yaml with scale n# [depth, width, max_channels]n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPss: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPsm: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPsl: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, LSKNET_Tiny, []] # 4- [-1, 1, SPPF, [1024, 5]] # 5# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, nearest]] # 6- [[-1, 3], 1, Concat, [1]] # 7 cat backbone P4- [-1, 3, C2f, [512]] # 8- [-1, 1, nn.Upsample, [None, 2, nearest]] # 9- [[-1, 2], 1, Concat, [1]] # 10 cat backbone P3- [-1, 3, C2f, [256]] # 11 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]] # 12- [[-1, 8], 1, Concat, [1]] # 13 cat head P4- [-1, 3, C2f, [512]] # 14 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]] # 15- [[-1, 5], 1, Concat, [1]] # 16 cat head P5- [-1, 3, C2f, [1024]] # 17 (P5/32-large)- [[11, 14, 17], 1, Detect, [nc]] # Detect(P3, P4, P5)5.2 LSKNet的yaml文件版本2 # Ultralytics YOLO , AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. modelyolov8n.yaml will call yolov8.yaml with scale n# [depth, width, max_channels]n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPss: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPsm: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPsl: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, LSKNet, []] # 4- [-1, 1, SPPF, [1024, 5]] # 5# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, nearest]] # 6- [[-1, 3], 1, Concat, [1]] # 7 cat backbone P4- [-1, 3, C2f, [512]] # 8- [-1, 1, nn.Upsample, [None, 2, nearest]] # 9- [[-1, 2], 1, Concat, [1]] # 10 cat backbone P3- [-1, 3, C2f, [256]] # 11 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]] # 12- [[-1, 8], 1, Concat, [1]] # 13 cat head P4- [-1, 3, C2f, [512]] # 14 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]] # 15- [[-1, 5], 1, Concat, [1]] # 16 cat head P5- [-1, 3, C2f, [1024]] # 17 (P5/32-large)- [[11, 14, 17], 1, Detect, [nc]] # Detect(P3, P4, P5)六、成功运行记录
下面是成功运行的截图已经完成了有1个epochs的训练图片太大截不全第2个epochs这里改完之后打印出了点问题但是不影响任何功能后期我找时间修复一下这个问题。 七、本文总结
到此本文的正式分享内容就结束了在这里给大家推荐我的YOLOv8改进有效涨点专栏本专栏目前为新开的平均质量分98分后期我会根据各种最新的前沿顶会进行论文复现也会对一些老的改进机制进行补充目前本专栏免费阅读(暂时大家尽早关注不迷路~)如果大家觉得本文帮助到你了订阅本专栏关注后续更多的更新~ 专栏回顾YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备
