广西住房和城乡建设厅培训中心网站首页,wordpress建导航,环保公司网站模版,什么样的网站利于百度优化文 | ALme知乎这两年看见很多人#xff0c;包括我实习的mentor在内#xff0c;都在批评few-shot learning#xff0c;觉得是学术界在自high#xff0c;思考良久#xff0c;感觉有必要给这个领域正个名#xff5e;(注意#xff0c;此答案仅关注few-shot image classifica… 文 | ALme知乎这两年看见很多人包括我实习的mentor在内都在批评few-shot learning觉得是学术界在自high思考良久感觉有必要给这个领域正个名(注意此答案仅关注few-shot image classification首先要讨论few-shot learning的价值咱得先把few-shot learningFSL这个问题的定位搞清楚。而要搞清楚few-shot learning的定位咱得先把FSL和transfer learning的关系捋清楚。transfer learning大家都知道一个典型例子就是在Imagenet训练一个backbone然后在另一个新的数据集上比如cifar、cub的训练集微调fine-tunebackbone然后在这个新的数据集的测试集上对模型进行测试。那咱为啥不在新数据上从头train一个模型呢我们都知道Imagenet图片量很大且图片所覆盖域较为全面可以近似看作对真实世界数据分布的刻画因此希望在ImageNet上训练的模型能够提取通用的图片特征而这种通用的特征很可能能迁移到下游一个没有见过的图片域。因此广泛认为在ImageNet或者更大的数据集上训练一个backbone然后再微调是最好的方式。这也是为什么这两年大家如此钟爱于超大数据预训练模型有监督半监督自监督应有尽有就是想着像bert一样造一个万能模型解决一切任务。transfer learning有一个区别于domain adaptation的非常关键的点即训练时的数据集和微调时的数据集的图片不仅domain不同category也通常是不一样的。由于category不同导致微调时原有的网络分类层不能用了得重新学一个而由于domain不一样了backbone提取的特征也不够discriminative了因此需要finetune backbone。后面将看到从这两点将直指few-shot learning核心问题。重点来了。transfer learning的setting是假设我们能够接触到足够多的目标数据集的labeled data的但在实际应用时往往目标数据集的labeled data是不足的。举一个我实习过程遇到的真实案例当时遇到一个项目是零件的异常检测即给定一张工业零件的图片判断其是否合格。大家都知道零件造出来往往都是正常的出错的概率是很低的因此能够拿到的异常零件图片是很少的当时的想法是imagenet学到的backbone直接在这些极少量的图片上finetune最后结果很差很差另一个例子是医学病情诊断同样的某些病情发病率极低能够拿到的图片十分稀少如果有机会可以试一试网上公开的ChestX [1]数据集在labeled data数量给定的情况从ImageNet finetune的效果也是极差。因此这种setting在预训练模型十分重要的当下是极具价值的。那么这个setting和few-shot learning有啥关系其实这个在transfer learning目标域labeled data不足的setting就是咱常说的few-shot image classification或者也可以叫做few-shot transfer [2]。few-shot image classification早期常用的benchmark比如miniImageNet [5]满足了few-shot transfer learning中的category gap而domain gap虽然有但是不明显。为弥补这一缺陷后续提出了cross-domain few-shot learning的benchmark [3] 以及Meta-Dataset [4]这两年这些benchmark发展迅速大部分刷传统benchmark的顶会论文也开始把cross-domain的效果放入论文。这些进展使得few-shot learning与实际应用场景的gap迅速缩小。大部分批评FSL的着重点可能都在miniImageNet上其实即使是miniImageNet如果仔细观察也可以发现其实训练集和测试集类别之间大多数是存在一个较大的gap的比如测试集出现的微生物、花瓶在训练集很难找出类似的类。追溯批评的原因还是大家在20年之前并没有把few-shot learning和transfer learning的关系搞清楚自然会觉得玩miniImageNet这种benchmark的都是在圈地自萌。只有看清楚了这层关系才能脱离出few-shot learning原本的范围站在一个更高的维度思考问题本质。令人庆幸的是虽然水论文在这个领域占比较大但仍有一部分人正在朝着正确的方向前进这就够了。我们现在清楚了few-shot image classification其实等价于限制目标域labeled data数量的transfer learning那么问题来了transfer learning基本就finetune一条路玩不出花为啥一旦把目标域数据量限制到很小就出现了各种百花齐放的方法呢这些方法包括但不仅限于meta-learning、conventional training、metric-based method、generation-based method、linear classification、dense-feature based method。其实这一问题的答案可以追溯到19年谷歌发布于CVPR的一篇论文Do Better ImageNet Models Transfer Better?该文探究了ImageNet上训练的模型的transfer learning效果。论文中的图9给出了transfer learning随着目标域labeled data数量增长时的效果变化图片如下红色的线为finetune方法效果绿色的线为冻住backbone仅在特征之上用目标域数据训练一个线性logistic分类器的效果黑色为在目标数据集上从头训练一个模型。首先黑色线效果不行说明transfer的必要性。其次更为有趣的是finetune和线性分类的performance在给定不同目标域数据量的差异。在目标域labeled data数据量较大情况下finetune通常占据压倒性优势但在few-shot场景下finetune方法往往比不过冻住backbone的线性分类方法注意到该论文虽然降低了每类数目但没有降低类别数目而这些数据集上类别数目都很大后来我自己做了实验发现当类别数目变小时两种方法差异更大这表示finetune效果与labeled data数据总量正相关。这种现象仔细思考其实很好理解就是finetune backbone调整的参数量过多在few-shot下很容易使得模型过拟合。这也解释了为什么MAML这类基于finetune的方法在few-shot learning下表现明显不如metric-based method等其他冻住backbone的方法。既然不能finetune那么理所当然地在源域所学得的network backbone质量就至关重要。换句话说从backbone引导出的feature space必须足够general足够generalizable。这一目标正是19-21年整个few-shot community关注的重点之一 [2, 6-8]而该目标又恰好和这两年基于linear protocol evaluation的对比学习一致好的few-shot learning本质问题至此来到了vision problem的深水区怎么学得一个泛化能力极强的visual representation使得在遇到下游极端奇异且少量labeled data时仍表现良好或者说现有学得的visual representation在很奇怪的图片上时仍然存在怎样的问题这些问题都是finetune打遍天下的传统transfer learning不具有的也是few-shot learning的核心问题之一。从早期的元学习到后来metric-based pretrainingcosine classifier以及加各种自监督学习、蒸馏学习的loss目标都是学一个更好的特征表示。如果看过Big TransferBiT[9]那篇文章可能会问一个问题是不是只要数据量足够大特征表示就足够好小样本分类问题就解决了回答应该是partially solved。首先小样本分类效果和源域数据集大小在绝大部分目标数据集上是正相关关系因此增大训练数据量是一个非常好的途径但是实验发现这一增长在某些domain gap差距较大的数据集上特别是实际遇到的真实应用场景中是有上限的如果不能从根本探究清楚pretrained visual representation在小样本下存在的问题或者不使用除finetune之外的目标数据集adaptation方法这一瓶颈看上去将无法解决。因此few-shot image classfication这一问题有其独特价值与image representation learning的核心问题紧密相关。训练从源域学得general image representation之后在测试时目标域few-shot任务的所有图片不管是support训练图片还是query测试图片大部分方法均会先将其转为representation再进行下一步操作。这导向另一个问题即在给定的representation下如何最大化利用support set少量图片的representation构造一个分类器使该分类器具有良好泛化能力把图像represention的潜力发挥到极致的方法很多而这直接导致了few-shot learning方法的百花齐放。比如元学习方法从训练开始就target这一问题但这些元学习方法忽略了一个重要问题训练源数据分布和测试时的目标数据分布是不同的而这直接导致元学习的任务同分布假设不成立这是元学习效果不佳的重要原因之一。这里再举另外一个例子由于目标域labeled data少目标域类别在训练时没见过因此backbone网络会不知道在纷繁复杂的图片应该关注什么信息。比如一张图一个人牵着一只狗标签为人但由于网络在训练时可能只把狗作为标签比如imagenet因此提取特征时便关注狗去了而不是人。为解决这类问题dense-feature based方法应运而生其核心思想是backbone出来的feature不过global pooling保留spatial信息对比不同图片的spatial feature map从中找出对应关系这样如果有两张图其共性是人而不是狗那通过这种人和人的对应关系就能把狗这一confounding factor给去除。这一类方法论文如CAN[16]、CTX[2]、DeepEMD [10]、LDAMF[17]、MCL[18]。可以看到训练学得一个good representation和测试时从有限labeled data建立一个好的分类器在一般的任务中是可以统一起来的。但在few-shot learning中随着元学习方法的缺点不断被挖掘这两点割裂开来成为两个独立的问题。前者涉及vision representation的本质问题若为了涨效果可以照搬cv近期各自提升feature质量的trick比如对比学习、蒸馏等等成为了各大cv顶会刷点必备这些方法水一水是可以的但要真正解决问题还是要探究visual representation在目标域labeled data是few-shot时所存在的核心问题这样的研究最近是有[11-13]但很少后者涉及如何给定pretrained feature做到快速task adaptation核心点是取pretrained feature之精华去其糟粕从support set feature及目标query feature中最大化可用信息比如从support set中找类内共性或者找support feature和query feature之间的对应关系或者从训练集中找寻并利用和support set的相似图片这第二点可以统称为task adaptation。最后安利一下meta-dataset这个benchmark非常接近真实场景其中multi-domain FSL的setting从根本上解决了训练集单一domain泛化差的问题根除了元学习方法的泛化障碍可能能够使得task adaptation方法更加自然、有效是一种可能的真正解决few-shot learning的方法途径。这里提一嘴meta-dataset存在的一个bias即测试时shot和way普遍偏高这导致partial fine-tune[14,15]方法重现江湖但实验后发现这些方法在1-shot和5-shot表现不佳是值得注意的点。最后的最后吐槽一下transductive few-shot learning我是真的不理解这种setting能有什么价值如果有人知道请告诉我References:[1] ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases. CVPR 2017.[2] Crosstransformers: Spatially-aware Few-shot Transfer. NeurIPS 2020.[3] A Broader Study of Cross-Domain Few-Shot Learning. ECCV 2020.[4] Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples. ICLR 2020.[5] Matching Networks for One Shot Learning. NeurIPS 2016.[6] Rapid learning or feature reuse? towards understanding the effectiveness of MAML. ICLR 2020.[7] A baseline for few-shot image classification. ICLR 2020.[8] Rethinking few-shot image classification: A good embedding is all you need? ECCV 2020.[9] Big Transfer (BiT): General Visual Representation Learning. ECCV 2020.[10] DeepEMD: Few-Shot Image Classification with Differentiable Earth Mover’s Distance and Structured Classifiers. CVPR 2020.[11] Interventional Few-Shot Learning. NeurIPS 2020.[12] Powering Finetuning in Few-Shot Learning: Domain-Agnostic Bias Reduction with Selected Sampling. AAAI 2022.[13] Z-Score Normalization, Hubness, and Few-Shot Learning. ICCV 2021.[14] Learning a Universal Template for Few-shot Dataset Generalization. ICML 2021.[15] Cross-domain Few-shot Learning with Task-specific Adapters. CVPR 2022.[16] Cross Attention Network for Few-shot Classification. NeurIPS 2019.[17] Learning Dynamic Alignment via Meta-filter for Few-shot Learning. CVPR 2021.[18] Learning to Affiliate: Mutual Centralized Learning for Few-shot Classification. CVPR 2022.后台回复关键词【入群】加入卖萌屋NLP、CV与搜推广与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
