江苏省江建集团有限公司建设网站,松江工业区网站建设,广东省备案网站建设方案书,招人在哪里找最快背景 DETR#xff0c;即DEtection TRansformer#xff0c;是由尼古拉斯卡里翁及其团队于2020年在Facebook AI Research首次提出的#xff0c;它在目标检测领域开创了一种新的波潮。 虽然目前并未保持最先进#xff08;State Of The Art#xff09;的地位#xff0c;但DET… 背景 DETR即DEtection TRansformer是由尼古拉斯·卡里翁及其团队于2020年在Facebook AI Research首次提出的它在目标检测领域开创了一种新的波潮。 虽然目前并未保持最先进State Of The Art的地位但DETR对目标检测任务的创新重新定义显著影响了后续的模型例如CO-DETR它是当前LVIS上目标检测和实例分割的最先进技术。 摆脱传统的一对多问题情景其中每个地面真实值对应着大量的锚点候选框DETR通过将目标检测视为一个集合预测问题使预测和地面真实值之间实现一对一的对应关系从而消除了对某些后处理技术的需求。 目标检测回顾 目标检测是计算机视觉领域的一个子领域专注于在图像或视频帧中识别和定位对象。它不仅仅对对象进行分类还提供了一个边界框指示对象在图像中的位置从而使系统能够理解各个识别对象的空间上下文和位置。 Yolo5视频分割 目标检测本身非常有用例如在自动驾驶中但它也是实例分割的预备任务其中我们试图寻找对象的更精确轮廓同时能够区分不同实例与语义分割不同。 揭秘非最大抑制 非最大抑制NMS长期以来一直是目标检测算法中的基石在后处理中执行不可或缺的角色以精炼预测输出。在传统的目标检测框架中模型在潜在对象区域周围提出了大量边界框其中一些不可避免地表现出重叠度很大如上图所示。 NMS通过保留具有最大预测目标分数的边界框同时抑制表现出高度重叠的相邻边界框来解决这个问题其重叠程度由IoU交并比度量量化。具体而言给定一个预先设定的IoU阈值NMS迭代地选择具有最高置信度分数的边界框并使IoU超过此阈值的边界框失效确保每个对象有唯一的、高度自信的预测。尽管NMS无处不在DETRDEtection TRansformer大胆地回避了传统的NMS通过将其重新定义为一个集合预测问题重塑了目标检测。 通过利用TransformerDETR直接预测了一个固定大小的边界框集并消除了传统NMS的必要性显著简化了目标检测流程同时保留甚至提高了模型性能。 深入了解DETR架构 在高层次上DETR是 图像编码器实际上是双图像编码器因为首先有一个CNN骨干然后是一个用于更具表达力的Transformer编码器。 产生图像编码的Transformer解码器。 DETR结构 让我们更详细地了解每个部分 1.骨干 我们从一个具有3个彩色通道的初始图像开始 然后将此图像馈送到骨干即卷积神经网络。 我们使用的典型值是C 2048和H W H0 W0 32。 2. Transformer编码器 Transformer编码器理论上不是必需的但它为骨干增加了更多的表达力消融研究显示性能有所提高。首先1x1卷积将高级激活图f的通道维度从C减小到较小的维度d。 但正如您所知Transformer将输入序列的向量映射到输出序列的向量因此我们需要折叠空间维度 现在我们准备将其馈送到Transformer编码器。重要的是要注意Transformer编码器仅使用自注意机制。 3. Transformer解码器 这部分是最难理解的部分坚持一下如果你理解了这部分你就理解了文章的大部分内容。解码器使用自注意和交叉注意机制的组合。它接收N个对象查询并将每个查询转换为输出框和类别。 边界框预测是什么样子的呢实际上由两个组件组成 一个边界框有一些坐标x1y1x2y2来标识边界框。一个类别例如海鸥但也可以是空的 重要的是N是固定的。这意味着DETR始终准确预测N个边界框。但其中一些可以是空的。我们只需要确保N足够大以覆盖图像中的足够多的对象。然后交叉注意机制可以关注由编码部分骨干Transformer编码器产生的图像特征。 详细的注意力机制 在原始的Transformer架构中我们生成一个令牌然后使用自注意力和交叉注意力的组合来生成下一个令牌然后重复。但在这里我们不需要这种递归的形式我们可以一次性生成所有输出以便利用并行性。 主要创新二分图匹配损失 如前所述DETR精确地产生N个输出边界框类别。但每个输出仅对应一个地面真实值。如果您记得的话这正是重点所在我们不想应用任何后处理来过滤重叠的边界框。 我们基本上希望将每个预测与最接近的地面真实值关联起来。实际上我们正在寻找预测集和地面真实值集之间的双射最小化总损失。 那么我们如何定义这个损失呢 1. 匹配损失成对损失 首先我们需要定义一个匹配损失它对应于一个预测框和一个地面真实框之间的损失并且这个损失需要考虑两个组成部分 分类损失预测边界框内的类别是否与地面真实值相同边界框损失边界框是否接近地面真实值 匹配损失 更确切地说对于边界框组件有两个子组件 交并比损失IOUL1损失坐标之间的绝对差异 2. 双射的总损失 要计算总损失我们只需对N个实例求和 因此我们的问题基本上是找到最小化总损失的双射 性能见解 DETR与Faster RCNN的性能 DETR这是指原始模型它使用Transformer进行目标检测并使用ResNet-50作为骨干。DETR-R101这是DETR的变体使用ResNet-101作为骨干而不是ResNet-50。这里“R101”代表“ResNet-101”。DETR-DC5这个版本的DETR在其ResNet-50骨干中使用了修改后的扩张C5阶段通过增加特征分辨率提高了模型对较小对象的性能。DETR-DC5-R101这个变体结合了这两个修改。它使用ResNet-101骨干并包含扩张的C5阶段从而既受益于更深的网络又受益于增加的特征分辨率。 DETR在大型对象上明显优于基线这很可能是由Transformer允许的非局部计算所致。但有趣的是DETR在小型对象上的性能较低。 为什么在这种情况下注意力机制如此强大 重叠实例上的注意力 非常有趣的是我们可以观察到在重叠实例的情况下注意力机制能够正确分离单个实例如上图所示。 在极端位置上的注意力机制 还很有趣的是注意力集中在对象的极端位置上以生成边界框这正是我们期望的。 总结 DETR不仅仅是一个模型它是一种范 Paradigm 转变将目标检测从一对多的问题转变为一个集合预测问题有效利用Transformer架构的进步。自提出以来已经出现了一些增强型模型如DETR和CO-DETR它们现在在LVIS数据集上引领着实例分割和目标检测的最新技术。 · END · HAPPY LIFE 本文仅供学习交流使用如有侵权请联系作者删除
