站长工具在线免费观看,建网站容易吗,网站图片上字体动态怎么做的,网站建设公司简介1 Abstract
近年来#xff0c;混合样本数据增强#xff08;Mixed Sample Data Augmentation#xff0c;MSDA#xff09;受到了越来越多的关注#xff0c;出现了许多成功的变体#xff0c;例如MixUp和CutMix。通过研究VAE在原始数据和增强数据上学习到的函数之间的互信息…1 Abstract
近年来混合样本数据增强Mixed Sample Data AugmentationMSDA受到了越来越多的关注出现了许多成功的变体例如MixUp和CutMix。通过研究VAE在原始数据和增强数据上学习到的函数之间的互信息我们展示了MixUp以一种CutMix不会的方式扭曲了学习到的函数。我们进一步通过展示MixUp作为一种对抗性训练的形式来证明这一点它增加了对Deep Fool和Uniform Noise等攻击的鲁棒性这些攻击产生的样本与MixUp生成的样本类似。我们认为这种扭曲阻止了模型学习数据中的样本特定特征有助于提高泛化性能。相比之下我们认为CutMix更像是一种传统的增强通过防止记忆来提高性能而不会扭曲数据分布。然而我们认为一个基于CutMix构建的MSDA包括任意形状的掩码而不仅仅是正方形可以在不扭曲数据分布的同时进一步防止记忆。为此我们提出了FMix这是一种使用通过将傅里叶空间中采样的低频图像应用阈值获得的随机二进制掩码的MSDA。这些随机掩码可以呈现出各种形状并且可以用于一维、二维和三维数据。FMix在不增加训练时间的情况下提高了多种模型在多个数据集和问题设置中的性能甚至在没有外部数据的情况下在CIFAR-10上获得了新的单模型最佳结果。我们展示了FMix在情感分类任务中可以胜过MixUp并且在一维数据的三维点云分类中提供了基线的改进。最后我们展示了插值MSDA如MixUp和掩码MSDA如FMix之间差异的一个后果是两者可以结合使用以进一步提高性能。所有实验的代码可在https://github.com/ecs-vlc/FMix获取。
2 Strategy 生成随机掩码 首先从傅里叶空间采样低频图像。这可以通过对复数 随机变量进行低通滤波来实现其中滤波器的衰减功率由参数δ控制。这一步骤生成了一个灰度图像。 转换为二进制掩码: 将上述灰度图像通过一个阈值操作转换为二进制掩码。这个阈值是根据给定的混合系数λ来设置的以确保掩码的平均值为λ。这意味着在二进制掩码中像素值根据其在灰度图像中的强度被设置为0或1。 应用掩码 使用生成的二进制掩码对数据集中的图像进行混合。具体来说对于两个独立的随机变量X1和X2代表数据集中的两个样本使用掩码m进行元素级别的乘法操作然后根据混合系数λ进行加权求和得到增强后的样本。
3 Perfermance 4 Demo
注这里只用了一张图像没有叠加两张图像
mask binarise_mask(make_low_freq_image(3, SHAPE), 0.5, SHAPE, 0.0)
