移动网站系统,浙江网站建设推广公司十大排行,商务网站开发流程,优惠券网站怎么做的文 | 杨朔知乎本文已获作者授权#xff0c;禁止二次转载介绍一篇我们刚刚发表在ICLR2021 Oral上的一篇少样本学习工作#xff0c;简单有效。题目#xff1a;Free Lunch for Few-shot Learning: Distribution Calibration链接#xff1a;https://openreview.net/forum?idJW… 文 | 杨朔知乎本文已获作者授权禁止二次转载介绍一篇我们刚刚发表在ICLR2021 Oral上的一篇少样本学习工作简单有效。题目Free Lunch for Few-shot Learning: Distribution Calibration链接https://openreview.net/forum?idJWOiYxMG92s代码https://github.com/ShuoYang-1998/ICLR2021-Oral_Distribution_Calibration简介从极少量样本中学习到泛化性能良好的模型是很困难的因为极少的样本形成的数据分布往往与真实数据分布相差较大在偏斜的数据分布上训练模型会导致严重的过拟合现象并严重破坏模型的泛化能力见图1。在本文中我们尝试从数据分布估计的角度去缓解少样本学习中的过拟合现象。我们尝试利用一个样本去估计该类别的整体数据分布如果该分布估计足够准确也许可以弥合少样本学习和传统多样本学习的差距。方法直接从一个样本中估计整体数据分布是非常困难的需要很强的先验去约束分布估计的过程。我们观察到如果假设每一个类别的特征都服从高斯分布那么相似类别的分布统计量相似度非常高如表1。从直观的角度理解一个类别的mean代表该类别的general appearancevariance代表该类别某属性的变化范围颜色、形状、姿势等。而相似的类别如猫和老虎具有相似的整体外观和相似的属性变化范围。受此启发我们提出了通过迁移基类base class的分布统计量的方式对少样本类别的数据分布做‘矫正’calibration。具体来说我们首先为每一个base class i计算一个mean和covariance计算好的 和 储存起来当作base class分布先验。然后在进行少样本分类时我们利用base class的分布先验去修正少样本类别的数据分布得到修正后的少样本类别的分布 和 后我们便可以从修正后的分布中直接采样然后利用采样得到的数据和support set共同训练分类器至此该算法结束。流程如图实验我们的算法无需任何可训练参数可以建立在任何已有的特征提取器和分类器之上并极大的提高模型的泛化能力。代码已开源核心代码只有9行evaluate_DC.py中的第10-19行。我们的方法搭配最简单的线性分类器便可以达到非常高的1-shot分类性能。实验结果如图我们分布估计的可视化如图总结在本工作中我们思考了少样本学习和多样本学习的核心差距并提出通过分布矫正估计的方式弥合这种差距。在该工作的后续期刊拓展版本中我们从generalization error bound的角度为‘基于数据分布估计的少样本学习’这一类方法建立了理论框架并证明了当数据分布足够准确时少样本学习和多样本学习的泛化误差等价。后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
