小学教育网站专题模板,动漫做暧昧视频网站,资中网站建设,太原建站建设文 | Yimin_饭煲2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世#xff0c;震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时#xff0c;想必对GPT-3中的Prompt方法印象深刻。简单来说#xff0c;(GPT-3中的)Prompt就是为输入的… 文 | Yimin_饭煲2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时想必对GPT-3中的Prompt方法印象深刻。简单来说(GPT-3中的)Prompt就是为输入的数据提供模板例如对于翻译任务 Translate English to Chinese:)在冻结语言模型参数的情况下让自回归语言模型输出答案。关于Prompt方法的具体介绍大家可以参考CMU最新发布在arxiv上的综述 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing。卖萌屋之前也转载过该论文的中文解析 《Fine-tune之后的NLP新范式Prompt越来越火CMU华人博士后出了篇综述文章》GPT-3的大获成功为NLP圈的研究者们展现了大规模自回归语言模型不需微调即可发挥出的巨大威力。同样立志于通用人工智能的DeepMind怎甘落后进一步发掘了自回归语言模型在多模态任务上的潜力。Deepmind的研究者们发现在冻结参数的情况下 通过与GPT-3类似的Prompt方法就可以让自回归语言模型处理多模态任务在多个基准任务上特别是小样本任务上取得了相当优秀的效果。论文题目: Multimodal Few-Shot Learning with Frozen Language Models论文链接: https://arxiv.org/abs/2106.13884方法Frozen作者们将本文的方法取名为Frozen。Frozen的主要目标是利用冻结参数的预训练自回归语言模型处理多模态任务。众所周知自回归语言模型(例如GPT-3的训练任务是给定前-1个词预测第个词可以写成如下的表达形式其中表示个词。我们考虑多模态任务中经典的图像标题生成任务图像生成任务的主要目标是给定图像, 生成描述图像的一段文字。要想让自回归语言模型处理图像生成任务一个非常自然的想法是将图像转换成输入语言模型的“词汇“这样我们就可以先将图像对应的”词汇“输入自回归语言模型让模型为我们输出描述图像的文字。这个想法可以表示成如下的形式. 假设图像转换为的“词汇”是接下来的关键是如何将图像转换成输入语言模型的“词汇”作者们采用的方法非常直接使用一个传统的视觉编码器如ResNet提取图像的特征再通过一个线性映射将图像映射为的矩阵其中就是语言模型“词汇”的表示维度。将图像转换为“词汇” 之后就可以将图像直接输入语言模型了。整个模型的架构如下图表示。正如前文所述自回归语言模型的参数是固定的。作者们在实验中中发现在小数据集场景下如果同时微调自回归语言模型反而会损害泛化性能。视觉编码器的参数是通过训练过程中的梯度进行更新的原因是语言模型和视觉编码器的结构和训练方式完全不同需要通过训练视觉编码器将视觉输入转化为语言模型能够“看懂”的输入形式也就是所谓的Prompt。在GPT-3大获成功的三种Prompt方式里除了上图展示的zero-shot之外还有one-shot和few-shot两种设置。在这两种设置下可以为模型提供一个或多个解决该问题的例子这些例子被拼接在输入数据之前。在本文中DeepMind的研究员们也在模型推理阶段使用了这两种设置。如下图所示作者们使用了C4数据集预训练了大小为7B的自回归语言模型。在Conceptural Captions这一图像-标题数据集上固定自回归语言模型参数训练视觉编码器。随后作者们在多个多模态任务上开展了实验让我们一起来看看结果吧~实验结果小样本学习术语在开始实验结果的描述前我们先简单描述一下小样本学习的一些常用术语以便大家更好地理解文章。问题归纳(Task induction) 指用来描述问题的前缀。例如在翻译任务的句子前加上 “ Translate English to Chinese。例子数目(n-shots) 指为模型提供例子的数量。在VQA中可以是图片-问题-答案的组合。标签数目(Number of Ways) 指分类问题中类别的数目。类内例子数目(Number of Inner-shots) 指分类问题中每个类别对应的例子数目。重复数目(Number of repeats) 指每个类内例子输入模型的次数。作者在实验中主要希望探索Frozen在以下三个方面的表现Frozen能否将自回归语言模型快速迁移到多模态任务上Frozen能否充分利用自回归语言模型中的通用知识Frozen能否快速地对语言和视觉的概念进行对应快速适配本文的模型是在图像-标题数据集上进行训练的。现实场景中多模态任务种类繁多。作者们希望研究在图像-标题数据集上训练的模型能否迁移到其他多模态任务(e.g. VQA) 上取得好的表现这就好比在维基百科上训练掩码语言模型任务的模型能够迁移到下游的各种分类任务上)。在VQA v2数据集上的结果表明模型可以迁移到小样本VQA场景下随着例子数目 (n-shots) 的增多表现随之增长。通用知识自回归语言模型训练的语料极为丰富包含了大量的通用知识。作者们希望研究自回归语言模型中的通用知识能否为处理的多模态任务提供帮助。例如当提供一张飞机的照片并提问“谁发明了图中的东西“时 图像-标题数据集可能并不会包含“怀特兄弟发明了飞机”这样的知识而预训练语言模型的C4数据集中则大概率包含了这样的知识。作者们希望Frozen能够利用这样的知识来回答问题。在OKVQA一个需要外部知识的VQA数据集上开展的实验表明Frozen确实具备应用通用知识的能力。随着自回归语言模型的参数量增长应用通用知识的能力会提升。概念对应概念对应是人类在认知过程中极为重要的能力。当我们牙牙学语时爸爸妈妈可能会指着一头狮子告诉我们这个”东西”叫“狮子”。教授几次过后当我们再次看到狮子时就能叫出“狮子“。在小样本学习中概念对应是非常重要的一步。作者们在miniImageNet和FastVQA数据集上开展实验。由于在预训练过程中模型已经见到过大量的文本和图像的对应数据无法看出模型快速对应新概念的能力。作者们首先将视觉类别对应的文本替换为无意义的词汇之后提供少量视觉类别的样例和对应的词汇让模型根据少量样例完成概念的对应具体示例如下图在两个数据集上模型均取得了相当不错的表现。可以发现加入问题归纳会得到更好的表现增加类内例子数目会提升模型的性能而增加重复数目对模型性能影响很小。结语作者们在文中多次表示与多模态领域使用全部数据微调的SOTA相比本文的方法还是有着较大的差距。然而作者们仍然相信本工作是多模态小样本学习领域Proof of Concept的工作展现了大规模自回归语言模型的强大潜力。语言作为一种完备且通用的描述世界的方式也许能为各种模态的任务都提供帮助。读完本文笔者第一时间想到的是DeepMind的研究者们训练了一个7B的语言模型就得到了如此优秀的结果如果能使用OpenAI的GPT-3175B语言模型作为Backbone是否有机会刷新多模态领域的SOTA呢后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] Language Models are Few-Shot Learners. https://arxiv.org/abs/2005.14165[2] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. https://arxiv.org/abs/2107.13586[3] Multimodal Few-Shot Learning with Frozen Language Models. https://arxiv.org/abs/2106.13884
