网站建设与管理设计,微信小程序排名关键词优化,怎么做黑彩黑彩网站,c语言开发网站后端SPARK: Spatial-Aware Online Incremental Attack Against Visual Tracking introduction
在本文中#xff0c;我们确定了视觉跟踪对抗性攻击的一个新任务#xff1a;在线生成难以察觉的扰动#xff0c;误导跟踪器沿着不正确的#xff08;无目标攻击#xff0c;UA#x… SPARK: Spatial-Aware Online Incremental Attack Against Visual Tracking introduction
在本文中我们确定了视觉跟踪对抗性攻击的一个新任务在线生成难以察觉的扰动误导跟踪器沿着不正确的无目标攻击UA或指定的轨迹有针对性的攻击TA。为此我们首先采用现有的攻击方法即FGSM、BIM和CW提出了一种空间感知的基本攻击并综合分析了攻击性能。我们发现在线对象跟踪带来了两个新的挑战1很难生成可以跨帧传输的难以察觉的扰动2实时跟踪器要求攻击满足一定的效率水平。为了应对这些挑战我们进一步提出了空间感知在线增量攻击SPARK它在线执行时空稀疏增量扰动并使对抗性攻击不易被察觉。此外作为一种基于优化的方法SPARK通过考虑历史增量扰动在多次迭代内快速收敛到非常小的损失使其比基本攻击更加有效。对 OTB100、VOT2018、UAV123 和 LaSOT 上最先进的跟踪器即 SiamRPN with Alex、MobileNetv2 和 ResNet-50的深入评估证明了 SPARK 在两种情况下误导跟踪器的有效性和可转移性UA 和 TA 有轻微扰动。
与图像、语音和自然语言处理任务不同在线目标跟踪对对抗性攻击技术提出了一些新的挑战。 首先与现有的顺序输入相关任务例如用于分类的音频 [ 4 ]、自然语言 [ 19 ]或视频 [ 43 ]相比它们可以访问完整的顺序数据对象跟踪在其中逐一处理输入帧。令当当前帧t受到攻击所有先前的帧即仍然不可用也无法立即受到攻击。由于时间数据片段和动态场景变化有限生成可随时间转移的难以察觉但有效的对抗性扰动即多个连续帧更加困难。 此外对象跟踪通常依赖于从视频的第一帧中裁剪的目标指定对象模板 [ 2 , 24 ]以进行进一步分析。不同的初始指定对象可能会导致不同的跟踪分析这使得通用对抗性扰动 [ 31 ]通常无效。
此外在线对象跟踪通常以实时速度运行。因此它要求攻击足够有效以便在下一帧到达之前完成当前帧的对抗性扰动。尽管基于梯度下降的方法例如FGSM [ 13 ]BIM [ 22 ]被证明可以有效地攻击图像分类器但当多帧时它们仍然遇到欺骗最先进的跟踪器的效率问题很快到达。实时攻击多个帧的成本也相当高即稀疏性 [ 43 ]。
为了更好地理解攻击 VOT 的挑战和独特性我们首先通过适应用于攻击每个帧的现有最先进的攻击技术即 FGSM、BIM、CW提出了一种空间感知的基本攻击方法单独。我们的实证研究证实由于实时的连续时间帧基本攻击对于攻击 VOT 确实无效。在此基础上我们进一步提出了空间感知在线增量攻击SPARK方法该方法可以在有效性和效率方面产生更多难以察觉的在线扰动。
本文的主要贡献如下 我们将 VOT 的对抗性攻击问题形式化即在线生成难以察觉的扰动以误导跟踪对象的视觉跟踪器进入不正确的非目标攻击UA或指定的目标攻击TA轨迹。 我们通过调整现有攻击即 FGSM、BIM、CW提出了几种基本攻击并进一步进行实证研究以更好地理解对抗性攻击对实时对象跟踪的挑战。 我们提出了一种新的空间感知在线增量攻击SPARK方法可以有效地为实时 VOT 生成更多难以察觉的扰动。 与基本方法一致我们的深入评估证明 了SPARK在UA和TA。SPARK 生成的攻击还表现出对 SiamRPN 跟踪器在线更新变体的强大可转移性。
相关工作
与这些作品不同我们的攻击旨在通过有限的在线数据访问来误导视觉跟踪器即未来的帧不可用过去的帧也不能被攻击。在与我们最相关的工作中 [ 43 ]提出了在整个视频数据可用并且多个帧的扰动可以联合调整的情况下基于范数的攻击生成用于动作识别的稀疏扰动。为了进一步显示差异我们使用[ 43 ]实现了跟踪攻击并将其与我们的评估方法进行比较。 [ 25 ]攻击了SiamRPN跟踪器 [ 24 ]中也使用的区域提议网络RPN 。然而这种攻击的重点是欺骗图像检测器来预测不准确的边界框因此不能直接用于攻击旨在通过在线视频误导错误轨迹的跟踪器。 [ 42 ]提出了通过独立寻址每一帧的视频对象检测攻击这不适合跟踪器通常以实时速度运行的在线跟踪。另一项相关工作[ 26 ]研究了在强化学习环境中何时攻击代理并使用对动作的偏好程度来决定关键攻击时间。相比之下这项工作主要探讨如何利用时间约束在线生成难以察觉的有效扰动来误导实时跟踪器。
据我们所知到目前为止关于攻击在线对象跟踪的研究还很有限。 [ 44 ]生成物理对抗纹理使 GOTURN 跟踪器 [ 17 ]始终错误地跟踪对象。与这项工作不同的是我们打算对对象跟踪的对抗性攻击进行全面的研究并提出有效的攻击来误导在线实时跟踪器沿指定的轨迹移动并产生较小的扰动。由于目标跟踪器通常嵌入在移动控制系统中因此对 VOT 特定领域对抗问题的深入分析和理解可能是加速实际应用的关键。此外我们研究的主题模型即基于SiamRPN 的跟踪器在各种基准[ 10、45、20 ]上实现了最先进的性能 并且获得了比 GOTURN 跟踪器更高的精度因此将更具挑战性攻击时。
https://arxiv.org/abs/1904.11042实证研究
1对每个帧应用基本攻击的攻击效果如何2视频中时间帧的影响如何为了回答这些问题我们对最先进的跟踪器例如 SiamRPN-Alex * 执行两种基本的有针对性的攻击
表 1显示了 BA-E、BA-R1 和 BA-R2 在 TA 下攻击 OTB100 上基于 SiamRPN-Alex 的跟踪器的成功率、平均绝对扰动和每帧平均迭代次数。我们看到1通过 BIM 和 CW 的 BA-E 方法通过攻击每一帧获得了很高的成功率。然而它们的扰动很大并且用 10 次迭代来攻击每一帧非常耗时并且超出了实时跟踪器的范围。FGSM虽然高效但成功率却低得多。2随机攻击10%帧即BA-R1比BA-E快10倍左右。然而成功率显着下降。3BA-R2方法每10帧攻击一次效率较高但牺牲了成功率。与BA-R1相比在相同的攻击率即10%帧数的情况下BA-R2的成功率高于BA-R1。例如基于BIMBA-R2的成功率是原来的两倍以上。它推断由于时间平滑性相邻 10 帧的扰动具有一定的可传递性。
基于 BIM 的案例研究如图1所示 其中我们使用三种 BA 攻击来误导基于 SiamRPN-Alex 的跟踪器来定位场景左上角的感兴趣对象图 1 中的目标位置 c 。我们没有遵循标准的 Siamese 跟踪管道而是根据地面实况裁剪搜索区域并确保对象始终位于搜索区域的中心。我们显示了目标位置图1 a和跟踪结果之间的距离 以及 帧级别的 平均绝对扰动MAP图 1 b。我们得出与表 1一致的结论。BA-E是最简单的解决方案在某个时刻距目标位置距离小于20MAP在5左右时可以成功攻击跟踪器但攻击效率较低不适合实时跟踪。此外根据图 1 c扰动很大并且是可察觉的。结果回答了第一个问题对每一帧进行攻击并不有效即耗时且MAP较大。
考虑帧之间的时间特性如果攻击可以在相邻帧之间转移我们可以只攻击某些帧同时减少开销例如BA-R1和BA-R2。不幸的是表1和图 1中的结果 表明BA-R1和BA-R2仅在执行攻击的特定帧上工作。
结果回答了第二个问题由于视频中的动态场景BA 产生的扰动很难直接转移到下一帧参见 BA-R1 和 BA-R2 的结果。
在线增量攻击
根据基本攻击的实证研究结果我们发现直接针对每一帧进行攻击是无效的。由于帧是连续的并且附近的帧非常相似我们的深入分析发现附近的帧之间存在可转移性。然而如何有效地利用先前帧的扰动同时在攻击新的帧时保持不易察觉这是值得怀疑的。一种直接的方法是将以前的扰动添加到新的计算扰动中这将提高攻击的成功率但会导致严重的扭曲。为了解决这个问题我们提出了在线增量攻击SPARK它可以更有效地生成更多难以察觉的对抗性示例以进行跟踪。SPARK 的直觉是我们仍然攻击每一帧但通过优化将先前的扰动应用于新帧并结合小但有效的增量扰动。
增量扰动的时空稀疏性 增量扰动沿着空间和时间逐渐变得稀疏见图 1 d。与 BA 方法相比这有助于产生更多难以察觉的扰动。此外SPARK在所有帧中获得最小的MAP并且在OTB100上比BA-E更高的成功率见图 1 b。
