枞阳美好乡村建设办公窒网站,苏州市城乡建设局网站,百度wap,湖南建设教育网站来源#xff1a;AI科技评论编译#xff1a;青暮本文介绍了Hinton团队发表在NeurIPS 2020上的一项研究工作#xff0c;一作是Ting Chen#xff0c;研究人员首次在ImageNet上尝试了半监督学习的典型范式#xff0c;并取得了优越的结果。此外#xff0c;他们还发现#xff… 来源AI科技评论编译青暮本文介绍了Hinton团队发表在NeurIPS 2020上的一项研究工作一作是Ting Chen研究人员首次在ImageNet上尝试了半监督学习的典型范式并取得了优越的结果。此外他们还发现网络的规模越大需要的标签数据越少。论文地址https://arxiv.org/abs/2006.10029仅使用1的标签每类≤13个标签图像本文提出的方法即可达到73.9ImageNet top-1准确率与以前的SOTA相比标签效率提高了10倍。使用10的标签本文的方法可以达到77.5的top-1准确率优于使用100%标签的标准监督训练。“无监督预训练、监督微调”范式充分利用少量标记示例和大量未标记示例进行学习是机器学习的一个长期存在的问题。人们曾经提出一种半监督学习来试图解决这个问题其中涉及无监督或自监督的预训练然后进行有监督的微调。这种方法在预训练期间以与任务无关的方式利用未标记的数据仅在有监督微调时使用带标签的数据。这种方法在计算机视觉上很少受关注但是在自然语言处理中已成为主流。例如人们首先在未标记的文本例如Wikipedia上训练大型语言模型然后在一些带标记的示例中对该模型进行微调。基于视觉表示的自监督学习的最新进展Ting Chen等人对ImageNet上的半监督学习进行了深入研究并首次探索了“无监督预训练、监督微调”范式。通过与任务无关的方式使用未标记数据作者发现网络规模非常重要。也就是说使用大型在深度和广度上神经网络进行自监督的预训练和微调可以大大提高准确率。除了网络规模之外作者表示这项研究还为对比表示学习提供了一些重要的设计选择这些选择有益于监督微调和半监督学习。一旦卷积网络完成了预训练和微调其在特定任务上的预测就可以得到进一步改善并可以提炼成更小的网络。为此作者接下来再次使用了未标记的数据以让学生网络模仿教师网络的标签预测。这种使用未标记数据的蒸馏阶段类似于自训练中伪标签的使用但没有增加太多额外的复杂性。作者提出的半监督学习框架包括三个步骤如图3所示。1无监督或自我监督的预训练2有监督的微调3使用未标记的数据进行蒸馏。图3本文提出的半监督学习框架。该框架通过两种方式利用未标记的数据1在无监督的预训练中与任务无关的用法2在自训练/蒸馏中的任务特定的用法。此外作者还开发了对比学习框架SimCLR的改进版本用于ResNet架构的无监督预训练此框架被称为SimCLRv2。在ImageNet ILSVRC-2012上评估该方法的有效性作者发现仅需要1和10的标签就可以实现与过去SOTA方法相当的性能。作者表示对于这种范式的半监督学习标记越少就越有可能受益于更大的模型如图1所示。 图1使用较少标记的示例进行微调时较大的模型会产生较大的收益。较大的自监督模型具有更高的标签效率即使仅对少数几个带有示例的示例进行微调它们的性能也明显更好。因此通过未标记数据的特定任务使用可以进一步提高模型的预测性能并将其迁移到较小的网络中。作者进一步证明了在SimCLR中用于半监督学习的卷积层之后进行非线性变换又称投影头很重要。更深的投影头不仅可以改善通过线性评估测得的表示质量而且还可以改善从投影头中间层进行微调时的半监督性能。结合这些发现该框架在ImageNet上实现了半监督学习的SOTA如图2所示。图2仅使用1/10的标签在ImageNet上以前的SOTA方法和本文方法SimCLRv2的top-1准确率。虚线表示完全监督下的ResNet-50进行100标签训练。完整比较见表3。在线性评估协议下SimCLRv2实现了79.8的top-1准确率相对于之前的SOTA的改进为4.3。如果仅对1/ 10的标记示例进行微调并使用未标记的示例将其蒸馏至相同的架构则可以达到76.6/ 80.9的top-1准确率相对于以前的SOTA准确率提高了21.6/ 8.7。通过蒸馏这些改进也可以迁移到较小的ResNet-50网络中使用1/ 10的标签达到73.9/ 77.5的top-1准确率。相比之下对所有标签图像进行训练的标准监督ResNet-50可以达到76.6的top-1准确率。表3在半监督设置下训练的模型的ImageNet准确率。对于本文的方法上表展示了在微调后进行蒸馏的结果。对于较小的模型使用自蒸馏的ResNet-1523× SK作为教师网络。关于一作Ting Chen于2019年加入谷歌大脑担任研究科学家。他在2019年3月获得了加州大学洛杉矶分校计算机科学系的博士学位导师是UCLA计算机科学系的副教授孙怡舟。他也是论文SimCLR的一作。 未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
