研究生核心课程建设网站,重庆的企业的网站建设,wordpress扫码提交数据,网站开发老是弹广告文 | ????????????????这几年#xff0c;大家都说深度学习进入了预训练时代。作为一个入行不久的小白#xff0c;我一直以为各类基于 Transformers 结构的预训练模型是 NLP 的巨大里程碑#xff0c;CNN、RNN 老矣#xff0c;只配作为手下败将。大家的文章似… 文 | ????????????????这几年大家都说深度学习进入了预训练时代。作为一个入行不久的小白我一直以为各类基于 Transformers 结构的预训练模型是 NLP 的巨大里程碑CNN、RNN 老矣只配作为手下败将。大家的文章似乎也是这样把 BERT 作为 encoder 的归为一组来对比性能把 CNN、RNN encoder 归为另一组且总是要比基于 BERT 的差一些。但是我们有没有想过一个问题当今所有预训练模型都是基于 transformers 结构的模型我们使用预训练模型提升下游任务性能是因为使用海量数据预训练还是因为 transformers 的结构呢今天这篇文章就使用卷积模型进行预训练并且在几个下游任务 fine-tune性能和基于 transformers 的预训练模型相当甚至更高。作者认为这样的好结果加上卷积操作本身更小的复杂度pre-trained convolutions 简直是在性能和效率上将 transformers 完爆然而Yann LeCun 对这篇文章却做出了很暧昧的评价相信这两天大家也都被这篇 Google 的 ACL 和 LeCun 的评价刷屏但 LeCun 为什么会这样评价这是正面评价还是负面评价笔者看完这篇文章之后也有一种意犹未尽的感觉这个问题确实有待进一步研究。下面就容我细细道来。论文题目: Are Pre-trained Convolutions Better than Pre-trained Transformers? 论文链接: https://arxiv.org/pdf/2105.03322.pdf模型这部分将详细介绍整体的卷积预训练模型。这篇文章并没有直接采用最原始的卷积操作而是采用了 [1] 中改进的卷积。因此让我们先了解一下这里的卷积操作。为严谨起见下文中的 CNN 均特指在文本序列上的一维卷积。卷积模块CNN 与 self-attention 都可以理解为对 token 的聚合。self-attention 在以下方面比 CNN 更好CNN 与 self-attention 相比CNN 在单层的感受野大小是有限且固定的只能通过堆叠层数来增大感受野self-attention 在一层就可以捕捉所有 token 之间的关系这对于捕捉长距离依赖非常关键。self-attention 聚合的权重是与输入 token 相关的而 CNN 的聚合权重是与输入 token 无关的。反过来CNN 也有自己的优势CNN 比 self-attention 快得多CNN 是线性复杂度self-attention 是平方复杂度甚至因此诞生了《轻量 transformers》这个分支领域。attention 中的位置编码不断在被改进和完善 [3]甚至最近有人发现输入顺序对 transformers 影响很小 [4]因此位置编码还有待研究。而 CNN 是按顺序进行的不需要额外的位置编码。怎样融合二者的优点呢请看我下面一步步推出 Dynamic Convolution。Convolutions我们先来回忆一下传统的 CNN 结构▲传统CNN图源[2]传统 CNN 结构如上图所示不同的卷积核有不同的尺寸一个卷积核对输入序列的所有通道进行卷积计算。Depthwise Convolutions深度可分离卷积中每个通道只被一个卷积核所卷积▲Depthwise图源[2]例如在上图中原始序列的第一个通道只与蓝色的卷积核交互得到输出序列中的第一个维度其它通道也是同理。这样一来卷积的计算量将大大减少。Lightweight Convolutions轻量化卷积对深度可分离卷积做了进一步地简化▲Lightweight图源[2]首先相邻通道的卷积核可进行参数共享例如图中相同颜色的通道其卷积核参数是共享的。另外卷积核参数在其长度的维度上被 softmax 归一化其中卷积核参数 。里面的 分别是卷积核的数量以及卷积核的长度。看到这里是不是突然发现这里的归一化和 attention map 的归一化简直一模一样都是对加权聚合的权重进行归一化另外attention 的 multi-head 也可以理解为多个通道的卷积核。这样一来self-attention 中的 attention map 归一化和 multi-head 都在卷积中有所体现。Dynamic Convolutions动态卷积是对轻量化卷积的进一步改进动态卷积通过一个线性映射 使得卷积核 的生成与其顺序输入的不同 token 有关而不是对整个文本序列固定的卷积核。而且这里的卷积核参数只与当前被卷积核覆盖的几个 token 相关而不像 self-attention 那样需要与全部 token 交互计算。因此整体上动态卷积还是线性复杂度。综上所述动态卷积于是很好地模拟了 self-attention 中 attention map 归一化、multi-head以及权重与输入相关。本文就分别基于上述的三种卷积操作搭建卷积预训练模型结构。卷积预训练模型结构写到这里实在忍不住吐槽本文的卷积预训练模型结构依然在模仿基于 transformers 的预训练模型结构只不过是将其中的 multi-head self-attention 换成了上面说的卷积操作query-key-value 的结构换成了类似的线性门控Gated Linear Units[5]结构。首先每个 convolution block 的结构如下图所示这里没有使用类似 self-attention 的 query-key-value 的结构上图的 a而是使用了一种“线性门控 卷积 线性映射”的结构上图的 bc这里 都是可以学习的参数。实验中的卷积使用了上文说的轻量化卷积、动态卷积以及空洞卷积 [6]。对于整体的卷积预训练模型本文也是使用类似 transformers 的方式将 convolution blocks 进行堆叠其中 是上文提到的 convolution block 是两层全连接网络后面接一个 ReLU。实验模型在 Colossal Cleaned CommonCrawl Corpus (C4) 数据集上进行了预训练。预训练时模型的 seq2seq 的结构、MLM 任务依然是模拟 transformers层数、序列长度等参数也与 BART-base 保持了一致。在实验部分这篇文章希望探究如下五个问题卷积也能在预训练中获益学到丰富的先验知识吗卷积预训练和 transformers 相比性能怎么样卷积预训练和 transformers 相比有什么优点会更快吗什么情景下卷积预训练会失败不同的卷积模块之间有很大的差别吗下游任务这篇文章在非常多下游任务上进行了实验在一些任务上性能追平了基于 transformers 的 BART 或 T5在攻击性言论检测任务中CivilComment 和 WikiToxic 数据集卷积预训练网络均优于 transformers但是 Lightweight 从预训练得到的提升更高。在情感分类任务中IMDbSST-2 和 S140 数据集卷积预训练不敌 transformers但是非常接近。在问题分类任务中TREC 数据集卷积预训练网络大体上优于 transformerstransformers 从预训练得到的提升更高一点。在新闻分类任务中News 数据集卷积预训练网络均优于 transformers空洞卷积受预训练增益最大。上面的实验可以回答提出的几个问题问题1卷积网络也能在预训练中获益只是不如 transformers 大。问题2无论是否与训练卷积的性能优于或与 transformers 一致。问题5空洞卷积和动态卷积似乎好于轻量化卷积。其它对比作者在实验中发现与训练卷积结构缺少相互的 attention 结构因此在需要构建多个事物之间关系的任务上卷积预训练结构似乎并不适合。另外卷积预训练模型更快因此能被运用到更长的序列。随着序列长度的增加卷积预训练模型的速度优势将更加显著总结现在的预训练是和 transformers 绑定的。因此BERT、transformers、大规模预训练模型这些概念似乎被混为了一谈。这篇文章就将 transformers 结构和预训练解耦希望唤起学术界的注意是不是其它结构也能在预训练时代大放光彩呢个人认为在某种意义上来讲这篇文章的卷积操作相当于在模拟 multi-head self-attention整体的卷积预训练模型也可以说是在模拟 transformers。用这样的预训练模型与基于 transformers 的预训练模型相比就能得出“transformers 结构不重要预训练才重要”的结论吗这是不是还需要进一步研究寻求报道、约稿、文案投放添加微信xixiaoyao-1备注“商务合作”后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] Felix Wu, et al., Pay Less Attention with Lightweight and Dynamic Convolutions, ICLR 2019, https://arxiv-download.xixiaoyao.cn/pdf/1901.10430.pdf[2] 論文紹介: Pay Less Attention with Lightweight and Dynamic Convolutions, https://qiita.com/koreyou/items/328fa92a1d3a7e680376[3] Jianlin Su, et al., RoFormer: Enhanced Transformer with Rotary Position Embedding, arXiv:2104.09864, https://arxiv-download.xixiaoyao.cn/pdf/2104.09864.pdf[4] Koustuv Sinha, et al., Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little, ACL 2021, https://arxiv-download.xixiaoyao.cn/pdf/2104.06644.pdf[5] Yann N. Dauphin, et al., Language Modeling with Gated Convolutional Networks, ICML 2017, https://arxiv-download.xixiaoyao.cn/pdf/1612.08083.pdf[6] Fisher Yu and Vladlen Koltun, Multi-Scale Context Aggregation by Dilated Convolutions, ICLR 2016, https://arxiv-download.xixiaoyao.cn/pdf/1511.07122.pdf
