做网站需要几个程序,微网站医院策划案,kali搭建wordpress,深圳展厅公司一、本文介绍
本文给大家带来是用最新的RT-DETR模型中的AIFI模块来替换YOLOv5中的SPPF。RT-DETR号称是打败YOLO的检测模型#xff0c;其作为一种基于Transformer的检测方法#xff0c;相较于传统的基于卷积的检测方法#xff0c;提供了更为全面和深入的特征理解#xff0c…一、本文介绍
本文给大家带来是用最新的RT-DETR模型中的AIFI模块来替换YOLOv5中的SPPF。RT-DETR号称是打败YOLO的检测模型其作为一种基于Transformer的检测方法相较于传统的基于卷积的检测方法提供了更为全面和深入的特征理解将RT-DETR中的一些先进模块融入到YOLOv5往往能够达到一些特殊的效果我个人猜测所以我进行了一些实验来验证这一点我将RT-DETR的AIFI模块和Conv模块融合在一起添加到了YOLOv5中。
(我实测直接替换SPPF是有部分降点的在我测试的三个数据集在小目标上会有一定涨点中和大目标检测会有一定降点。所以我参考了RT-DETR模型的网络结构在AIFI之后额外添加一个Conv模块来解决这一问题)
推荐指数⭐⭐⭐⭐⭐ 专栏回顾YOLOv5改进专栏——持续复现各种顶会内容——内含100创新 训练结果对比图- 二、RT-DETR的AIFI框架原理
论文地址RT-DETR论文地址
代码地址RT-DETR官方下载地址
2.1 AIFI的基本原理
RT-DETR模型中的AIFI基于注意力的内部尺度特征交互模块是一个关键组件它与CNN基于的跨尺度特征融合模块CCFM一起构成了模型的编码器部分。AIFI的主要思想如下- 基于注意力的特征处理AIFI模块利用自我注意力机制来处理图像中的高级特征。自我注意力是一种机制它允许模型在处理特定部分的数据时同时考虑到数据的其他相关部分。这种方法特别适用于处理具有丰富语义信息的高级图像特征。 选择性特征交互AIFI模块专注于在S5级别即高级特征层上进行内部尺度交互。这是基于认识到高级特征层包含更丰富的语义概念能够更有效地捕捉图像中的概念实体间的联系。与此同时避免在低级特征层进行相同的交互因为低级特征缺乏必要的语义深度且可能导致数据处理上的重复和混淆。 总结AIFI模块的主要思想其实就是通过自我注意力机制专注于处理高级图像特征从而提高模型在对象检测和识别方面的性能同时减少不必要的计算消耗。
AIFI模块的主要作用和特点如下
1. 减少计算冗余AIFI模块进一步减少了基于变体D的计算冗余这个变体仅在S5级别上执行内部尺度交互。
2. 高级特征的自我注意力操作AIFI模块通过对具有丰富语义概念的高级特征应用自我注意力操作捕捉图像中概念实体之间的联系。这种处理有助于随后的模块更有效地检测和识别图像中的对象。
3. 避免低级特征的内部尺度交互由于低级特征缺乏语义概念以及存在与高级特征交互时的重复和混淆风险AIFI模块不对低级特征进行内部尺度交互。
4. 专注于S5级别为了验证上述观点AIFI模块仅在S5级别上进行内部尺度交互这表明模块主要关注于处理高级特征。
没啥好讲的这个AIFI具体的内容大家可以看我的另一篇博客- RT-DETR回顾RT-DETR论文阅读笔记包括YOLO版本训练和官方版本训练 三、AIFI的完整代码
我们将在“ultralytics/nn/modules”目录下面创建一个文件将其复制进去使用方法在后面第四章会讲。 class AIFI(TransformerEncoderLayer):Defines the AIFI transformer layer.def __init__(self, c1, cm2048, num_heads8, dropout0, actnn.GELU(), normalize_beforeFalse):Initialize the AIFI instance with specified parameters.super().__init__(c1, cm, num_heads, dropout, act, normalize_before)def forward(self, x):Forward pass for the AIFI transformer layer.c, h, w x.shape[1:]pos_embed self.build_2d_sincos_position_embedding(w, h, c)# Flatten [B, C, H, W] to [B, HxW, C]x super().forward(x.flatten(2).permute(0, 2, 1), pospos_embed.to(devicex.device, dtypex.dtype))return x.permute(0, 2, 1).view([-1, c, h, w]).contiguous()staticmethoddef build_2d_sincos_position_embedding(w, h, embed_dim256, temperature10000.0):Builds 2D sine-cosine position embedding.grid_w torch.arange(int(w), dtypetorch.float32)grid_h torch.arange(int(h), dtypetorch.float32)grid_w, grid_h torch.meshgrid(grid_w, grid_h, indexingij)assert embed_dim % 4 0, \Embed dimension must be divisible by 4 for 2D sin-cos position embeddingpos_dim embed_dim // 4omega torch.arange(pos_dim, dtypetorch.float32) / pos_dimomega 1. / (temperature ** omega)out_w grid_w.flatten()[..., None] omega[None]out_h grid_h.flatten()[..., None] omega[None]return torch.cat([torch.sin(out_w), torch.cos(out_w), torch.sin(out_h), torch.cos(out_h)], 1)[None] 四、手把手教你添加AIFI模块
4.1 细节修改教程
4.1.1 修改一
我们找到如下的目录yolov5-master/models在这个目录下创建一整个文件目录(注意是目录因为我这个专栏会出很多的更新这里用一种一劳永逸的方法)文件目录起名modules然后在下面新建一个文件将我们的代码复制粘贴进去。 4.1.2 修改二
然后新建一个__init__.py文件然后我们在里面添加一行代码。注意标记一个.其作用是标记当前目录。
4.1.3 修改三
然后我们找到如下文件models/yolo.py在开头的地方导入我们的模块按照如下修改-
(如果你看了我多个改进机制此处只需要添加一个即可无需重复添加。)
4.1.4 修改四
然后我们找到parse_model方法按照如下修改-
到此就修改完成了复制下面的ymal文件即可运行。 4.2 AIFI的yaml文件
# YOLOv5 by Ultralytics, AGPL-3.0 license# Parameters
nc: 80 # number of classes
depth_multiple: 0.33 # model depth multiple
width_multiple: 0.25 # layer channel multiple
anchors:- [10,13, 16,30, 33,23] # P3/8- [30,61, 62,45, 59,119] # P4/16- [116,90, 156,198, 373,326] # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2[-1, 1, Conv, [128, 3, 2]], # 1-P2/4[-1, 3, C3, [128]],[-1, 1, Conv, [256, 3, 2]], # 3-P3/8[-1, 6, C3, [256]],[-1, 1, Conv, [512, 3, 2]], # 5-P4/16[-1, 9, C3, [512]],[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32[-1, 3, C3, [1024]],[-1, 1, AIFI, []], # 9]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]],[-1, 1, nn.Upsample, [None, 2, nearest]],[[-1, 6], 1, Concat, [1]], # cat backbone P4[-1, 3, C3, [512, False]], # 13[-1, 1, Conv, [256, 1, 1]],[-1, 1, nn.Upsample, [None, 2, nearest]],[[-1, 4], 1, Concat, [1]], # cat backbone P3[-1, 3, C3, [256, False]], # 17 (P3/8-small)[-1, 1, Conv, [256, 3, 2]],[[-1, 14], 1, Concat, [1]], # cat head P4[-1, 3, C3, [512, False]], # 20 (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],[[-1, 10], 1, Concat, [1]], # cat head P5[-1, 3, C3, [1024, False]], # 23 (P5/32-large)[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)] 4.3 AIFI运行成功截图
附上我的运行记录确保我的教程是可用的。 五、本文总结
到此本文的正式分享内容就结束了在这里给大家推荐我的YOLOv5改进有效涨点专栏本专栏目前为新开的平均质量分98分后期我会根据各种最新的前沿顶会进行论文复现也会对一些老的改进机制进行补充目前本专栏免费阅读(暂时大家尽早关注不迷路~)如果大家觉得本文帮助到你了订阅本专栏关注后续更多的更新~ 专栏回顾YOLOv5改进专栏——持续复现各种顶会内容——内含100创新
