网站一键生成手机网站,杭州做绒毛鉴定网站,网页制作购物网站,建立网站时间文章目录 迭代高级特征跨尺度融合高效的低层次特征跨尺度融合KDA#xff1a;Key-aware Deformable Attention 论文翻译#xff1a;
CVPR 2023 | Lite DETR#xff1a;计算量减少60%#xff01;高效交错多尺度编码器-CSDN博客 DINO团队的
#xff08;Lightweight Transfo… 文章目录 迭代高级特征跨尺度融合高效的低层次特征跨尺度融合KDAKey-aware Deformable Attention 论文翻译
CVPR 2023 | Lite DETR计算量减少60%高效交错多尺度编码器-CSDN博客 DINO团队的
Lightweight Transformer for Object Detection它是对DETRTransformers for Object Detection模型的一种轻量级改进在保持模型性能的同时成功将Encoder的计算开销减少了50%
改进的是Encoder提出交错的多尺度Encoder 对低层级的特征图的token来说将会耗费太多的计算量模型的性能提升也比较少但是也不能去掉这些低层级的特征因为很多检测需要低层级的特征提供信息。如上图所示去掉低层级的特征图Encoder的计算量会得到大幅度的降低相应小目标的检测精度也会下降大目标的检测精度没有太大影响。
下图是各个特征图的token数量占总token的比例 如下图所示 S1 ∼ S3 作为高级特征 (a) 是 3.4 节中讨论的建议的高级特征更新(b) 是 3.5 节中讨论的低级特征跨尺度融合。在每个高效编码器块中多尺度特征将经过 A 次高级特征更新然后在每个块的末尾进行低级特征更新。高效编码器块将执行 B 次。 迭代高级特征跨尺度融合
在不同的设置中FH 可以包含前三个或两个刻度为清楚起见我们默认将 FH 设为 S1、S2、S3将 FL 设为 S4。FH 被视为主要特征更新频率较高而 FL 更新频率较低。
在该模块中高层特征 FH 将作为查询Q从所有尺度中提取特征包括低层和高层特征标记。这一操作增强了高层语义和高分辨率细节对 FH 的表示。例如如表 2 所示在前两个尺度或前三个尺度中使用多尺度特征查询将分别大幅减少 94.1% 和 75.3% 的查询次数。我们还使用了将在第 3.6 节中讨论的关键字感知注意力模块 KDA 来执行注意力和更新标记。 高效的低层次特征跨尺度融合
低级特征包含过多的标记这是导致计算效率低下的关键因素。因此高效编码器会在一系列高级特征融合之后以较低的频率更新这些低级特征。具体来说我们利用初始低层次特征作为查询与更新的高层次标记以及原始低层次特征进行交互以更新它们的表示。与高层特征更新类似我们也使用了与 KDA 注意层的交互。 KDAKey-aware Deformable Attention
