做彩页素材的网站,微网站样式,wordpress页面中英文小图标怎么做,网站建设中企动力强论文笔记整理#xff1a;李爽#xff0c;天津大学。链接#xff1a;https://arxiv.org/pdf/2001.03615v1.pdf动机随着“自下而上”注意力的普及#xff0c;基于边界框(或区域)的视觉特征最近已经超越了传统的基于网格的卷积特征#xff0c;成为视觉和语言任务的事实标准。… 论文笔记整理李爽天津大学。链接https://arxiv.org/pdf/2001.03615v1.pdf动机随着“自下而上”注意力的普及基于边界框(或区域)的视觉特征最近已经超越了传统的基于网格的卷积特征成为视觉和语言任务的事实标准。然而目前尚不清楚区域优势是否是自下而上的注意力成功的关键原因。作者重新审视了用于VQA的网格特性发现它们的性能令人惊讶——在同样的精度下运行速度要快一个数量级。通过大量的实验作者验证了这种观察在不同的VQA模型(报告了最先进的VQA 2.0 test-std, 72.71)、数据集上都是正确的并且可以很好地推广到其他任务比如图像描述。作者从头到尾学习了VQA模型从像素直接到答案并证明了在训练前不使用任何区域标注也可以实现较强的性能。亮点在基于边界框的视觉特征已经广为应用替代了传统的基于网格特征的现状下作者又重新审视了网格特征将网格特征与区域特征进行实验对比探索二者的性能是否存在大的差异。论文框架介绍Bottom-Up Attention with Regions自下而上的注意力方法使用了Faster R-CNN检测模型。为了获得像VQA这样的任务的自下而上的注意力特征需要两个与区域相关的步骤:1、区域选择。由于Faster R-CNN是一个两级检测器因此在管道中进行两次区域选择。第一个是通过区域建议网络它变形并选择突出的候选“锚”作为感兴趣的区域(RoIs)。另一个选择作为后处理完成以类的方式聚合顶部N个框。在这两个步骤中都使用了非最大抑制(NMS)保持分类分数最高的区域并去除局部邻域内的其他近重复项。2、区域特性计算。给定第一阶段的区域(最多数千个)使用RoIPool操作提取初始的区域级特征。然后其他网络层分别计算区域的输出表示。最后通过两次选择的区域特征被堆叠在一起作为自下而上的特征来表示图像。需要注意的是由于VG数据集的复杂性和使用的特定Faster R-CNN检测器这两个步骤都需要大量计算。相反直接使用网格特性可以跳过或加速这些步骤并提供潜在的显著加速。Grid Features from the Same Layer将区域特征转换为网格的最简单的方法是看是否可以直接计算相同网络层的输出但以共享的、完全卷积的方式。为此进一步研究最初的自下而上的attention所使用的特定Faster R-CNN架构。Faster R-CNN是C4模型的一个变体增加了一个用于属性分类的分支。它将ResNet的权重划分为两个单独的集合:给定一个输入图像它首先使用ResNet到C4的较低的块计算feature maps。这张feature map是所有区域共享的。然后在14×14 RoIPool特征上分别应用C5块进行逐区域特征计算。然后C5的输出被AvgPool转换为每个区域的最终向量作为自下而上特征。由于最终的区域特征都来自C5所以很容易将检测器转换回ResNet分类器并使用相同的C5层作为我们的输出网格特征。如图说明了转换过程。1×1 RoIPool for Improved Grid Features简单地使用1×1 RoIPool对模型做一些最小的调整来改进网格特征。这意味着用一个向量来表示每个区域而不是在Faster R-CNN中使用一个三维张量。虽然这种修改对VG上的对象检测性能有负面影响但重要的是使用1×1的RoIPool regions也意味着网格feature map上的每个向量必须单独覆盖一个空间区域的所有信息这可能会导致更强的网格特征。但是直接在原始模型上应用1×1 RoIPool是有问题的可能是因为C5由几个ImageNet预先训练好的卷积层组成这些层最适合特定空间维度的输入。为了解决这个问题作者在对象检测和使用整个ResNet到C5作为共享特征计算骨干对于区域级计算在顶部放置两个1024D全连接(FC)层默认情况下接受向量作为输入。在使用C5汇聚的特征训练检测器时为了减少低分辨率的影响将stride-2层替换为stride-1层其余的层以2的倍数扩张。对于网格特征提取移除这个膨胀并将其转换回正常的ResNet。下图为改进网格之后的转换过程。实验从这一部分开始报告比较区域和网格的实验结果。作者选择VQA2.0作为感兴趣的主要任务因为它目前是评估联合视觉和语言理解的主要基准并且具有清晰的评估指标。为了进行分析默认情况下作者将Faster R-CNN与ResNet-50骨干网一起在ImageNet上进行预训练主要结果如下表所示。为了了解这些不同数量的区域特征如何影响精度作者对不同数量的特征N进行了实验结果如下图所示。与以前的设置不同作者使用trainval vqa-eval进行训练。下表为对比结果。与直接使用卷积特征图的网格特征不同区域特征涉及区域选择和区域特征计算的其他操作。对于基于区域的模型这些额外的操作花费了总推理时间的98.3。将作者的网格特征作为输入的VQA模型比使用自下而上的区域特征的模型运行速度快48倍。作者提出网格特征能够work的原因有以下两点Input Image Size在ImageNet预训练模型的特征提取过程中使用的标准图像大小为448×448丢弃了纵横比而对于自下而上注意力中的VG检测默认尺寸为600×1000同时保持纵横比不变。作者对不同的组合进行了实验下表为实验结果结果。从结果可以看出对于网格特性更大的输入大小意味着VQA模型有更多的特性。Pre-Training Task研究在ImageNet分类和VGdetection中由于预训练任务而导致的VQA精确度的差异。为了更好地理解这些差异作者在每个环境中引入了一个额外的预训练模型。对于分类包括了一个在YFCC上训练过的模型它有92M张带有图像标签的图像。对于检测包括一个来自COCO的标准模型它只有对象注释没有属性。所有型号都使用ResNet-50主干网进行公平比较。结果见下表。总结在文章中作者重新讨论网格特征作为视觉和语言任务中广泛使用的自下而上区域特征的替代方法结果表明二者的效果不相上下。作者也发现相对于特征的“格式”区域与网格特征所代表的语义内容对其有效性更为关键而这种有效的表示可以通过对对象和属性数据集如VG的预训练来实现。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
