河池网站制作,今天国际新闻最新消息10条,做网站多少钱,征集二级网站建设意见 通知作者#xff1a;Gorkem Polat编译#xff1a;ronghuaiyang导读一些最常用的few shot learning的方案介绍及对比。传统的CNNs (AlexNet, VGG, GoogLeNet, ResNet, DenseNet…)在数据集中每个类样本数量较多的情况下表现良好。不幸的是#xff0c;当你拥有一个小数据集时…作者Gorkem Polat编译ronghuaiyang导读一些最常用的few shot learning的方案介绍及对比。传统的CNNs (AlexNet, VGG, GoogLeNet, ResNet, DenseNet…)在数据集中每个类样本数量较多的情况下表现良好。不幸的是当你拥有一个小数据集时它们通常不能很好地工作。但是在许多真实的场景中收集数据是很有挑战性的。例如在人脸识别系统中通常每个人的图像都很少或者在医学领域中一些罕见疾病的病例也很有限。那么当你的类别中只有5个样本甚至每个类别只有一个样本时深度学习能提供什么呢这个问题被称为few-shot learning。这是一个活跃的研究领域有许多成功的方法可以采用。在本文中我将只提到一些最有前途的体系结构。这篇文章不会深入地解释架构因为这会使文章变得很长。相反我将只介绍架构的主要思想以便任何希望处理小数据集的人都可以对模型有一个大致的了解。Siamese Neural NetworksSiamese Neural Networks的结构Siamese神经网络以两个样本作为输入输出给定输入是否属于同一类的概率(或损失)。输入样本通过相同的网络(共享权值)它们的嵌入在损失函数中进行比较(通常使用基于嵌入的差异的度量)。在训练过程中“网络”学会以更稳健的方式对输入进行编码。首先在支持集(验证步骤)上对模型进行训练以学习相同/不同的配对。然后将测试样本与训练集中的每个样本进行比较得到基于学习的编码后的测试样本与每个类(one-shot task)的相似度。它是在few-shot学习领域中第一个成功的模型之一并成为其他模型的基础。Siamese Neural Networks的步骤Triplet Network and Triplet LossTriplet NetworksTriplet Network是对Siamese 网络的扩展。Triplet网络不使用两个样本而是使用三个样本作为输入positive、anchor和negative样本。Positive样本和anchor样本来自同一类negative样本来自不同类。Triplet损失的安排使得anchor的嵌入靠近positive而远离negative。通过这种方式网络在提取嵌入信息时变得更加健壮。Triplet Networks已应用于人脸识别数据集显示出非常好的性能。Triplet LossMatching NetworksMatching Networks匹配网络将嵌入和分类相结合形成端到端可微的最近邻分类器。对于模型的预测ŷ是标签的加权和yᵢ是训练集。权重是成对相似性函数a(̂, xᵢ)查询(测试)样本和支持(训练)样本之间的相似性。匹配网络的关键是相似函数的可微性。其中C代表了余弦相似度函数k是在训练集中的样本总数函数f* 和g是嵌入函数。总体而言在测试样本̂的嵌入和训练集样本xᵢ的嵌入之间计算相似性。这个工作的主要创新点就是对嵌入函数优化得到最大的分类精度。Prototypical NetworksPrototypical Networks原型网络不将测试样本与所有训练样本进行比较而是将测试样本与类原型(或平均类嵌入)进行比较。其关键假设是对于每个类别存在一个嵌入簇样本的表示是分布在这个原型的嵌入cₖ的周围的。在他们的论文中证明了它的性能优于匹配网络。Meta-Learning模型不可知Meta-Learning元学习意味着学会学习。元学习试图训练模型的参数使其通过一个或多个梯度步骤(像人类一样)在新任务中表现最佳。模型的参数根据更新后的特定于任务的参数进行更新使得任何任务在完成单一步骤后其性能都是最高的。与模型无关的元学习(MAML)的目的是学习一个通用的模型这个模型可以很容易地对许多任务进行微调只需要几个迭代步骤。对于元批处理中的每个任务使用基模型的权重初始化一个模型。采用随机梯度下降(SGD)算法更新特定任务的权值。然后使用更新后权重的损失总和来更新元学习者的权重。这里的目标是对于几个不同的任务这些参数的损失将会很小。模型不可知Meta-Learning算法Bonus: MetaFGNetMetaFGNet除了目标任务网络外MetaFGNet还使用辅助数据训练网络。这两个网络共享初始层(基础网络)以学习一般信息。这种方法也被称为多任务学习。将辅助数据(S)与目标数据(T)进行训练对目标训练产生正则化效果。MetaFGNet还使用了一个名为sample selection的过程。辅助数据中的样本通过网络对目标分类器的相似度打分同时也计算源分类器。如果相似性高得分也会高。只选择得分阈值以上的样本进行训练。这里主要假设辅助数据S应该具有与目标集T类似的分布。结果表明该过程提高了整体性能。使用元学习方法进行训练效果有提升。英文原文https://medium.com/swlh/deep-learning-architectures-that-you-can-use-with-a-very-few-data-8e5b4fa1d5da
