江西有色建设集团有限公司网站,郑州网络推广哪家实力强,浙江建设职业技术学院门户网站,如何用工控做网站【论文阅读笔记】Supervised Contrastive Learning
摘要
自监督批次对比方法扩展到完全监督的环境中#xff0c;以有效利用标签信息提出两种监督对比损失的可能版本
介绍
交叉熵损失函数的不足之处#xff0c;对噪声标签的不鲁棒性和可能导致交叉的边际#xff0c;降低了…【论文阅读笔记】Supervised Contrastive Learning
摘要
自监督批次对比方法扩展到完全监督的环境中以有效利用标签信息提出两种监督对比损失的可能版本
介绍
交叉熵损失函数的不足之处对噪声标签的不鲁棒性和可能导致交叉的边际降低了泛化能。监督对比损失将同一类别的所有样本作为正样本并将批次中其余部分的样本作为负样本进行对比自监督对比对比损失将每一个锚点图像的增强版本与整个批次的其余样本形成的负样本集进行对比。通过黑白小狗照片的展示考虑类别标签信息会导致嵌入空间中相同类别的元素比自监督情况下更加紧密地对齐 自监督对比学习在嵌入空间中将一个锚点和一个正样本拉在一起并将锚点与许多负样本进行推散。没有标签可用正样本通常由样本的数据增强形成而负样本由锚点和从小批量随机选择的样本组成。对比学习通过比较正样本和负样本之间的关系来学习有意义的表示而无需使用标签信息。创新点在于考虑除了许多负样本之外还有很多正样本这与自监督对比学习不同后者通常只使用单一正样本允许每一个锚点有多个正样本是对比学习在完全监督设置下的一项创新。相对于交叉熵损失更稳健
相关工作
相对于交叉熵损失该损失对于超参数的选择更加不敏感。这意味着在使用该损失时调整超参数的需求相对较小更容易在不同的任务和设置中获得良好的性能。这句话指出了交叉熵损失的缺点主要包括对噪声的敏感性、对抗性示例的存在以及边际不足。这句话提到了自监督学习领域的最新进展。三元组损失是一种用于监督学习的损失函数。在这种损失函数中每个锚点都与一个正样本和一个负样本配对。正样本通常来自同一类别而负样本则来自其他类别。这种损失的目标是使得锚点与正样本之间的距离尽可能小而与负样本之间的距离尽可能大从而促使模型学到更好的表示。在提供的链接中可能包含了更详细的关于三元组损失的信息。自监督对比损失是一种损失函数其使用方式类似于三元组损失但有一些关键的区别。在自监督对比损失中每个锚点样本仍然有一个对应的正样本但与三元组损失不同的是每个锚点会使用许多负样本对。这些负样本对通常是通过在整个批次中随机选择样本来形成的。这种损失函数的目标是通过拉近同一类别样本的表示并将不同类别样本的表示推开从而在嵌入空间中形成更好的聚类。这通过在训练时将每个锚点与来自同一类别和其他类别的样本进行对比来实现。这种对比损失的设计使得模型能够学到数据的更有意义的表示而无需使用显式的类别标签。
Method 对于给定的数据批次首先对每个样本进行两次数据增强从而获得两个增强版本的批次。这两个副本表示数据的两个不同视图以提供更多的信息。 然后这两个增强版本的批次都通过编码器网络进行前向传播其中编码器网络将每个样本映射到一个2048维度的归一化嵌入。这个嵌入是表示样本在嵌入空间中的位置的向量。 这个过程的关键点是通过在两个增强版本上进行前向传播模型能够学习到更具鲁棒性和泛化能力的特征表示而无需使用显式的标签信息。这些学到的表示可以在后续的任务中进行微调或用于其他下游任务。 步骤 数据准备 对于输入的数据批次进行两次数据增强生成两个批次的副本以提高模型对数据的鲁棒性和泛化性能。 编码器网络 通过编码器网络对两个副本进行前向传播得到每个样本的2048维度的归一化嵌入形成在高维空间中的紧凑表示。 投影网络 在训练阶段通过投影网络对表示进行下一步传播提炼特征以更好地支持监督学习任务。在推断阶段投影网络被丢弃。 损失计算 在投影网络的输出上设置一个监督对比损失该损失用于引导模型学习有助于分类的特征表示。 分类器训练 为了在具体的分类任务中使用训练好的模型冻结表示后训练一个线性分类器并使用交叉熵损失来优化分类器以实现更好的分类性能。 自监督对比学习 通过自监督对比学习方式学习数据的表示。这是通过在数据批次上引入对比损失使得相同样本的不同视图之间更加相似不同样本之间更加分散从而促使模型学到更具有区分性和泛化性的表示。 监督微调 利用自监督学习得到的表示通过监督学习任务对这些表示进行微调。这是通过在冻结的表示上添加一个线性分类器使用监督学习的交叉熵损失来微调模型使其适应具体的分类目标。这个过程在冻结了大部分网络参数的情况下只更新分类器的参数。 一组N个随机采样的样本/标签对N个数据点每个数据点包括一个样本和相应的标签。训练时的相应批次包含2N对。这意味着每个样本会有两个随机增强版本即每个数据点有两个样本。记作 x2k 和 x2k-1它们是 xk 的两个随机增强版本。这里 k 表示样本的索引 对于监督学习原始的自监督对比损失公式无法处理由于存在标签而已知多个样本属于同一类的情况。在监督学习中通常会有多个样本属于相同的类别而原始的自监督对比损失是为自监督学习设计的其中每个样本只有一个正样本。 在监督学习中正样本通常来自同一类别而负样本来自其他类别。由于多个正样本可能属于同一类别原始自监督对比损失需要进行适当修改以处理这种情况。文章进一步介绍了两种修改方案即公式2和公式3来适应监督学习中存在多个正样本的情况。这些修改允许每个锚点有多个正样本从而更好地处理监督学习任务 这段话指出在监督学习的背景下需要修改损失函数以适应已知同一类别的多个样本的情况。在原始的自监督对比损失中损失函数假定每个锚点只有一个正样本。然而在监督学习中由于已知同一类别的多个样本需要对损失函数进行修改以允许每个锚点有多个正样本。 监督对比学习与三元组损失[53]密切相关三元组损失是监督学习中广泛使用的损失函数之一。在附录中我们展示了当使用一个正样本和一个负样本时三元组损失是对比损失的一个特例。当使用多个负样本时我们表明SupCon损失等同于N-pairs损失[45]。 AutoAugment:自动搜索数据增强策略的方法通过在训练集上进行搜索。属于自适应的数据增强方法 RandAugment:随机数据增强方法通过在每一个训练批次中应用不同的增强增加对多样性和不同视角的学习 SimAugment:SimAugment是一种基于相似性的数据增强方法他利用多个随即增强操作堆叠在一起创建一个更强大和多样性的增强策略 泛化性能 SupCon 在不同数据集和任务上都表现得更好具有更强的泛化能力。 最先进准确度 使用 AutoAugment 策略该方法取得了新的最先进的准确度。 对比学习与数据增强结合 结合对比学习和先进的数据增强技术可能产生更好的性能这强调了方法的综合效果。
