网站流量分析系统,玉林市城市建设投资有限公司网站,dw网页设计视频教程,惠州淡水网站建设公司摘要
https://www.arxiv.org/pdf/2507.12727
小目标检测仍是目标检测领域中的一个挑战性问题。为应对这一挑战#xff0c;我们提出了一种基于YOLOv8的增强模型SOD-YOLO。该模型在颈部#xff08;neck#xff09;中集成了ASF#xff08;注意力尺度序列融合#xff09;机制以…摘要
https://www.arxiv.org/pdf/2507.12727
小目标检测仍是目标检测领域中的一个挑战性问题。为应对这一挑战我们提出了一种基于YOLOv8的增强模型SOD-YOLO。该模型在颈部neck中集成了ASF注意力尺度序列融合机制以增强多尺度特征融合新增了小目标检测层命名为P2以提供更高分辨率的特征图从而提升小目标检测效果并采用Soft-NMS优化置信度得分以保留真实正例。实验结果表明在VisDrone2019-DET数据集上SOD-YOLO相比基线模型mAP50 : 95\mathrm{mAP}_{50\,:\,95}mAP50:95提升了36.1%mAP50\mathrm{mAP}_{50}mAP50提升了20.6%。这些改进使SOD-YOLO成为无人机影像小目标检测的一种实用且高效的解决方案。我们的源代码、超参数和模型权重已公开于https://github.com/iamwangxiaobai/SOD-YOLO。
关键词小目标检测注意力尺度序列融合无人机影像
1 引言
无人机UAV俗称无人机已彻底改变了多个领域包括野生动物监测、精准农业、搜救行动和基础设施检测[1]。这些应用通常需要检测小目标如动物、害虫、失踪人员或结构缺陷。无人机能够从难以到达的高空视角捕获高分辨率影像使其成为极具价值的工具。无人机应用中的一项关键任务是目标检测。
无人机领域的目标检测尤其是小目标检测可增强无人机的自主性和有效性。它使无人机能够实时识别和跟踪小目标从而支持各种关键任务。在众多的目标检测方法中两种主流策略已成为现代无人机系统的基石单阶段目标检测和两阶段目标检测。
两阶段目标检测方法以R-CNN基于区域的卷积神经网络及其变体[2, 5]为代表其流程为首先在输入图像中生成一组候选区域然后逐个分类这些区域。尽管有效但这些方法计算量较大对资源受限的无人机平台的实时应用构成挑战。相比之下单阶段目标检测方法如YOLOYou Only Look Once[6, 13]采用更简化的流程通过单次遍历整个图像直接预测边界框和类别概率。这种高效性使其特别适用于需要实时处理和低延迟响应的无人机应用。
YOLO能够在单帧中检测多个目标增强了其在需要全面态势感知的场景中的实用性。然而YOLO也存在固有局限。与部分两阶段方法相比其在小目标或密集目标场景下的精度可能较低。此外YOLO的固定网格单元结构可能难以捕捉目标的细粒度细节导致某些情境下性能不佳。再者YOLO依赖预定义的锚框anchor boxes可能限制其对无人机操作中常见多样环境和目标尺度的适应性。
本文提出了一种增强的YOLOv8算法命名为SOD-YOLO小目标检测YOLO旨在提升无人机影像中的小目标检测效果。我们的改进针对小目标尺寸微小和背景复杂的挑战。实验结果表明SOD-YOLO在VisDrone2019-DET[14]数据集上将YOLOv8的性能提升了36.1%mAP50 : 95\mathrm{mAP}_{50\,:\,95}mAP50:95和20.6%mAP50\mathrm{mAP}_{50}mAP50。我们的主要贡献可总结如下
集成ASF机制[15]一种新型注意力融合策略通过颈部neck增强模型对目标尺寸变化和复杂背景的处理能力。引入P2层即专用的小目标检测头利用高分辨率特征图显著提升小目标检测精度。实现Soft-NMS[18]一种优化置信度得分的先进技术有效保留真实正例并提升目标检测整体性能。
2 相关工作
2.1 实时目标检测器
YOLO在目标检测方法中脱颖而出因其开创性的单阶段、实时神经网络架构。与传统两阶段检测器如R-CNN不同YOLO通过单次遍历整个图像直接预测边界框和类别概率。这种设计显著减少了计算时间使其非常适用于实时应用。YOLO已历经多次迭代其中YOLOv5和YOLOv8是显著进展同时提升了速度和精度。YOLO的高效性使其在需要低延迟和高吞吐量的领域中广受欢迎。
2.2 小目标检测的先前研究
2.2.1 网络架构增强
目标检测领域通过改进网络架构取得了显著进展。自YOLOv1问世以来YOLO系列凭借对主干网络backbone和检测层的持续优化始终引领实时目标检测。传统主干网络如Darknet被广泛使用平衡了计算效率与检测性能。更近期的进展包括CSPNet[16]和EfficientNet[17]等先进主干网络提供了更优的特征提取能力和网络效率。尽管有这些进展小目标检测的精度仍面临挑战因为传统主干网络和检测层常难以捕捉必要的细粒度特征。此外小目标易被背景噪声掩盖或混淆导致检测率降低和漏检false negatives增加。
基于这些基础我们的工作在YOLOv8框架内引入了多项关键架构改进。我们提出ASF网络作为新型颈部neck设计用于根据目标尺度和上下文动态调整空间滤波器。这种自适应机制增强了特征提取能力捕捉对小目标检测至关重要的细节空间信息。此外我们集成了专用的小目标检测层专门针对传统检测层可能忽略的细粒度特征。这些改进显著提升了模型对小目标的敏感度和精度在复杂环境中实现了更优性能。
2.2.2 后处理技术
后处理技术对优化目标检测模型的结果至关重要。传统非极大抑制NMS技术虽有效但常因硬性抑制准则丢弃真实正例这对小目标检测尤为不利小目标的边界框易重叠导致信息严重丢失。在密集场景中这一问题更加突出小目标紧密聚集。此外NMS的硬性阈值策略可能导致精度-召回平衡不佳难以在多样目标尺寸和密度下实现高精度。近期提出的Soft-NMS等技术旨在解决这些问题。Soft-NMS通过逐步降低重叠边界框的置信度得分而非直接消除维持高召回率并提升精度。该方法在密集和杂乱环境中提升目标检测模型整体性能方面展现出潜力。
我们的方法将Soft-NMS集成到YOLOv8框架中以增强小目标检测效果。Soft-NMS允许对重叠检测进行更精细的抑制减少真实正例被丢弃的风险。通过引入该技术我们的模型在小目标检测中实现了更优性能确保在密集目标场景下结果更准确可靠。这一改进显著增强了检测系统的鲁棒性和有效性确保在实际应用中具备高精度和召回率。
3 方法
3.1 ASF机制集成图1网络结构SOD-YOLO
标准YOLOv8架构采用序列化颈部neck设计通过卷积Conv、C2f增强残差块和SPPF空间金字塔池化融合层逐步下采样并丰富特征图[19]。其头部head拼接多尺度特征P3、P4、P5并通过检测层进行目标预测。
针对无人机视角下的小目标检测我们创新性地将自适应尺度融合ASF机制最初为细胞实例分割开发[15]集成到YOLOv8框架中如图1所示。改进主要集中在新型尺度序列ScalSeq特征融合模块和基于ASF注意力的精化模块。
尺度序列ScalSeq特征融合与YOLOv8采用的简单拼接策略不同我们的颈部在特征聚合的关键阶段引入两个ScalSeq模块实例。每个ScalSeq单元接收来自不同尺度的三个输入特征图即YOLOv8架构中定义的P3、P4、P5。首先每个特征图通过1×1卷积统一通道维度。随后P4和P5特征图通过最近邻插值上采样以匹配P3的空间分辨率。
空间对齐后三个特征图沿新引入的“尺度”维度视为序列。沿此维度应用核大小为(1,1,1)的3D卷积使模型能够学习跨尺度语义融合和上下文表征。该操作后接沿尺度维度的批归一化和LeakyReLU激活函数。最后采用核大小为(3,1,1)的3D最大池化压缩尺度维度得到标准2D特征图。ScalSeq模块的输出替代了YOLOv8颈部中常用的传统拼接机制提供更具表达力和结构化的多尺度信息融合。
基于ASF注意力的精化在每个ScalSeq模块后我们引入名为attention_model的轻量级注意力块进一步精化融合特征。该块实现自适应尺度融合ASF注意力机制。它接收两个特征图作为输入并依次对第一个输入特征图应用通道注意力模块。通道注意力的结果与第二个输入特征图相加。最后对相加后的特征图应用局部注意力模块。这种通道与局部注意力的顺序应用使网络能够选择性强调无人机影像中普遍存在的信息性特征并抑制噪声。精化后的ASF增强特征随后用于颈部的后续层或作为跳接连接的一部分改善最终预测阶段前上采样特征的质量。
相较于YOLOv8颈部结构的这些修改实现了更复杂的多尺度特征融合使SOD-YOLO在保持实时无人机应用所需计算效率的同时更好地保留了检测小目标所需的细节信息。
3.2 小目标检测层
为增强无人机影像中小目标的检测能力我们在网络P2层引入额外检测头如图1所示。与标准检测头P3、P4、P5不同后者对应更深层、更抽象且空间分辨率更低的特征表示而P2层基于主干网络早期阶段的高分辨率特征图。这些浅层保留了更多细粒度空间信息如目标边界、纹理和边缘这些是航拍场景中检测小尺度目标的关键线索[21][22]。
引入P2检测层的理论依据在于小目标的固有特性在高空无人机影像中小目标通常仅占极少数像素且易被深层下采样稀释或淹没[23]。尽管P3已提供中等分辨率但可能因步幅卷积丢失关键局部细节。相比之下P2保留更精细的空间粒度并捕获更适合识别小目标的低层视觉特征尤其在复杂背景和遮挡情况下。
为有效利用这些高分辨率特征我们首先对主干网络选定的特征图进行上采样并与浅层输出拼接形成结合空间细节和上下文深度的丰富特征集。该复合特征通过C2f模块精化——C2f是一种增强残差块旨在保留关键边缘和形状信息的同时实现有效特征融合[16]。
随后处理后的P2特征图通过尺度序列ScalSeq模块聚合多尺度信息并强调小目标表征。最终精化后的P2输出与现有P3-P5检测头集成形成多分辨率检测头组合。该设计确保了对目标尺度的全面覆盖特别提升了模型对小目标和密集分布目标的敏感度和精度。
总体而言P2检测层的引入为模型提供了早期阶段的空间线索增强了无人机视觉应用中典型小目标检测任务的鲁棒性。它桥接了高分辨率局部特征与深层语义理解之间的鸿沟显著提升了杂乱和尺度变异航拍环境中的检测精度。
表1不同目标检测器在VisDrone2019-DET验证集上的对比。
模型$\mathrm{mAP_{50:95}}$$\mathrm{mAP_{50}}$参数百万FLOPs十亿YOLOv5-m(2020)[10]0.2250.38520.848.1YOLOv7-m(2022)[11]0.2650.47236.9103.5YOLOv8-m(2023)0.2580.43625.878.7YOLOv9-gelan-c(2024)[12]0.3050.48925.2101.8YOLOv10-l(2024)[13]0.2860.46225.7126.4SOD-YOLO我们的0.3510.52622.694.9
表2消融实验
模型$\mathrm{mAP_{50:95}}$$\mathrm{mAP_{50}}$FLOPs十亿基线YOLOv8-m0.2580.43678.7ASF0.2650.0070.4400.00482.74.0ASFP20.2940.0360.4760.04094.916.2ASFP2Soft-NMS0.3520.0940.5260.09094.9
3.3 Soft-NMS集成
NMS是目标检测模型中的关键后处理技术用于移除冗余重叠边界框。传统NMS算法在当前检测框与最高分框的IoU超过阈值时将当前框的得分置为0[25]。这种方法可能导致包含目标的检测框因重叠而被丢弃降低小目标的召回率。
为解决潜在丢弃含目标检测框的问题本研究采用Soft-NMS算法[18]。与传统NMS不同Soft-NMS通过加权函数调整当前检测框的得分降低与最高分框重叠的邻近框得分。重叠程度越高得分衰减越快。该方法避免了移除含目标的框也防止了两个相似框同时检测同一目标的情况。本研究采用的Soft-NMS算法考虑了检测框之间的重叠相比传统NMS减少了漏检false negative的可能性从而提升了小目标检测的准确性和可靠性。
传统NMS算法可用分数重置函数表示为
Si{siIoU(A,Bi)Nt0IoU(A,Bi)≥NtS_{i}\begin{cases}{s_{i}} {\mathrm{IoU}(A,B_{i})N_{t}}\\ {0} {\mathrm{IoU}(A,B_{i})\geq N_{t}}\end{cases}Si{si0IoU(A,Bi)NtIoU(A,Bi)≥Nt
Soft-NMS算法可用分数重置函数表示为
Si{siIoU(A,Bi)Ntsi(1−IoU(A,Bi))IoU(A,Bi)≥NtS_{i}\begin{cases}{s_{i}} {\mathrm{IoU}(A,B_{i})N_{t}}\\ {s_{i}(1-\mathrm{IoU}(A,B_{i}))} {\mathrm{IoU}(A,B_{i})\geq N_{t}}\end{cases}Si{sisi(1−IoU(A,Bi))IoU(A,Bi)NtIoU(A,Bi)≥Nt
在方程1和2中SiS_{i}Si表示第iii个检测框的得分AAA表示感兴趣区域内最高置信度的检测框BiB_{i}Bi表示第iii个检测框IoU\mathrm{IoU}IoU表示第iii个检测框与AAA的重叠度NtN_{t}Nt表示校准后的重叠阈值。
4 实验
4.1 实验设置概述
为验证我们提出的SOD-YOLO模型在无人机影像小目标检测中的有效性和鲁棒性我们在多种场景下开展了广泛实验。实验设置的设计目标如下
评估目标评估SOD-YOLO在复杂航拍场景中检测小目标和密集目标的能力并验证其对基线YOLOv8-m模型的改进效果。评估指标我们主要报告IoU阈值为0.5mAP0.5\mathrm{mAP0.5}mAP0.5和0.5:0.95mAP0.5:0.95\mathrm{mAP0.5:0.95}mAP0.5:0.95的平均精度mAP以及数据集定义的小目标检测专项指标。对比基线我们将SOD-YOLO与基线YOLOv8-m及其他先进方法对比。为确保公平性所有模型在相同设置下训练和评估。
4.2 数据集
VisDrone2019-DET。我们在广泛使用的VisDrone2019-DET数据集[14]上评估模型该数据集是无人机目标检测的权威基准。数据集包含来自中国多城市的10,209张静态图像和288段无人机视频的261,908帧涵盖多样场景城市与乡村、目标尺度和密度。静态图像集划分为6,471张训练集、548张验证集和1,610张测试集。
VisDrone定义了10个目标类别行人、人群、自行车、汽车、厢式车、卡车、三轮车、遮阳三轮车、公交车和摩托车。值得注意的是超过75%的标注目标面积小于图像的0.1%凸显了小目标和微小目标的占比。目标分布还呈现明显的中心偏置这支持了中心聚焦增强策略的合理性。
4.3 实现细节
训练环境。所有实验在配备单块NVIDIA RTX 4090 GPU的工作站上开展。模型主干为CSPDarknet53使用随机梯度下降SGD优化器训练采用余弦学习率调度和预热策略。
主要超参数
初始学习率3个epoch内线性预热至0.005权重衰减0.0005动量0.937总训练轮数200输入图像尺寸640×640批量大小8
更多超参数设置和实现细节请参考我们的GitHub仓库https://github.com/iamwangxiaobai/SOD-YOLO。图2YOLOv8与SOD-YOLO检测性能对比。
4.4 评估准则
目标检测算法的常用评估指标包括交并比IoU、精确率Precision、召回率Recall和平均精度mAP。详细定义如下IoU交并比IoU通过计算预测区域AAA与真实标注BBB的重叠面积除以两者的并集面积得到公式为
IoU∣A∩B∣∣A∪B∣\mathrm{IoU} \frac{|A \cap B|}{|A \cup B|}IoU∣A∪B∣∣A∩B∣
IoU取值范围为0到1。值越大表示预测越精准。分子重叠部分越小说明预测未准确覆盖真实目标分母并集越大说明预测区域过广导致IoU降低。精确率Precision精确率表示预测为正的样本中实际为正的比例定义为
PrecisionTrue PositivesTrue PositivesFalse Positives\mathrm{Precision} \frac{\mathrm{True~Positives}}{\mathrm{True~Positives} \mathrm{False~Positives}}PrecisionTrue PositivesFalse PositivesTrue Positives召回率Recall召回率表示实际为正的样本中被正确预测的比例计算公式为
RecallTrue PositivesTrue PositivesFalse Negatives\mathrm{Recall} \frac{\mathrm{True~Positives}}{\mathrm{True~Positives} \mathrm{False~Negatives}}RecallTrue PositivesFalse NegativesTrue PositivesmAP平均精度平均精度AP\mathrm{AP}AP是精确率-召回率PR曲线上不同召回阈值处的精确率平均值。mAP是所有类别AP\mathrm{AP}AP的均值。其中mAP50\mathrm{mAP_{50}}mAP50表示IoU阈值为0.5时的mAPmAP50:95\mathrm{mAP_{50:95}}mAP50:95表示IoU阈值从0.5到0.95的均值mAP。4.5 结果与对比
我们选择YOLOv8-m作为基线模型并在以小目标为主的VisDrone2019-DET数据集上与多种先进目标检测器对比。VisDrone2019-DET验证集的结果如表1所示。对比YOLOv8-m与改进后的SOD-YOLO算法可知SOD-YOLO在小目标检测上显著优于基线。具体而言SOD-YOLO的mAP50:95\mathrm{mAP_{50:95}}mAP50:95达到0.351较YOLOv8-m的0.258提升0.093mAP50\mathrm{mAP_{50}}mAP50达到0.526较YOLOv8-m的0.436提升0.09。这表明SOD-YOLO在小目标检测上性能更优尤其在更高IoU阈值下表现出更好的精度和召回平衡。此外对比YOLOv9-gelan-c和YOLOv10-l等模型SOD-YOLO仍具竞争力其mAP50:95\mathrm{mAP_{50:95}}mAP50:950.351和mAP50\mathrm{mAP_{50}}mAP500.526均超过YOLOv9-gelan-c0.305和0.489尽管两者参数量相近。这凸显了SOD-YOLO在检测精度与计算成本间的平衡优势。同时SOD-YOLO保持了较低的参数量22.6M和有竞争力的FLOPs94.9G相比YOLOv7-m36.9M参数103.5G FLOPs等模型更高效。因此SOD-YOLO以适中的计算需求实现了小目标检测性能的提升。
图2展示了基线YOLOv8-m与SOD-YOLO在同一城市无人机图像上的检测结果。对比可见SOD-YOLO在小目标和部分遮挡目标的检测能力上显著提升。例如SOD-YOLO成功识别了YOLOv8-m漏检或误分类的多个路边行人如靠近人行横道和路缘的儿童而YOLOv8-m对此类目标存在漏检或误判为其他类别。此外SOD-YOLO对中远距离的车辆和摩托车检测置信度更高而YOLOv8-m对此类目标常遗漏或赋予低置信度边界框。SOD-YOLO在边界框定位和类别区分上的优势体现在其能正确区分卡车、厢式车和汽车而YOLOv8-m对相似尺寸的车辆类别存在混淆。
这些视觉对比证实SOD-YOLO中引入的ASF模块、P2检测层和Soft-NMS等改进有效提升了无人机场景下密集、小目标和遮挡目标的检测性能。
4.6 消融实验
我们通过消融实验评估SOD-YOLO各组件的贡献结果如表2所示。表中红色数值表示性能提升绿色表示下降。基线模型YOLOv8-m的mAP50:95\mathrm{mAP_{50:95}}mAP50:95为0.258mAP50\mathrm{mAP_{50}}mAP50为0.436计算复杂度为78.7 GFLOPs。在模型颈部引入注意力融合策略ASF后mAP50:95\mathrm{mAP_{50:95}}mAP50:95提升至0.2650.007mAP50\mathrm{mAP_{50}}mAP50提升至0.4400.004但FLOPs增至82.7G。进一步添加P2层利用高分辨率特征图的小目标专用检测头后mAP50:95\mathrm{mAP_{50:95}}mAP50:95增至0.2940.036mAP50\mathrm{mAP_{50}}mAP50增至0.4760.040FLOPs升至94.9G。最后集成Soft-NMS通过软惩罚重叠框优化置信度后性能显著提升mAP50:95\mathrm{mAP_{50:95}}mAP50:95达到0.3520.094mAP50\mathrm{mAP_{50}}mAP50达到0.5260.090且FLOPs保持在94.9G。结果表明各组件均对模型性能有贡献ASF、P2和Soft-NMS的联合作用带来了显著提升。
5 结论
本文提出了SOD-YOLO一种针对无人机影像小目标检测的增强型YOLOv8算法。通过集成ASF机制、引入专用P2检测层和实施Soft-NMS检测性能显著提升。ASF机制通过聚焦关键区域增强空间特征提取使模型更好检测小目标和密集目标P2检测层利用更低特征尺度捕捉更精细细节提升小目标检测能力Soft-NMS通过软惩罚重叠框而非直接丢弃减少假阳性。在VisDrone2019-DET数据集上的实验表明SOD-YOLO的mAP50:95\mathrm{mAP_{50:95}}mAP50:95和mAP50\mathrm{mAP_{50}}mAP50较基线YOLOv8分别提升36.1%和20.6%验证了其在复杂无人机场景下处理小目标的有效性。
尽管取得显著改进我们的工作仍存在局限。首先ASF机制和P2检测层虽提升了小目标检测精度但增加了模型计算复杂度可能影响实时性能尤其在计算资源受限的场景下。因此未来工作可聚焦通过轻量化设计优化模型计算效率确保实时应用中的性能。
致谢
本研究由国家自然科学基金项目编号72101189资助。
