创建集团上海公司网站,seo公司关键词,好的网站设计网站,成都网站整站优化文章目录 GPT-1GPT-2GPT-3 GPT-1
GPT-1的核心#xff1a;基于Transformer的解码器构建一个模型#xff0c;在大量无标号的文本数据上训练一个模型#xff0c;然后再在下游的子任务上进行微调。当前面临的问题#xff1a;在NLP领域#xff0c;有各种各样的下游任务。目前基于Transformer的解码器构建一个模型在大量无标号的文本数据上训练一个模型然后再在下游的子任务上进行微调。当前面临的问题在NLP领域有各种各样的下游任务。目前自然语言处理中有标号的数据是非常少的大部分的数据都是无标注的数据。因此这就使得基于有标号的数据训练一个非常强大的NLP模型是非常困难的。另外由于一个句子蕴含的信息内容大致只有一张图片的十分之一因此如果需要构造一个规模很大的带标号的NLP领域数据集需要比图像数据集规模更大。目前在词嵌入模型之后并没有基于无标文本号数据进行训练的很优秀的自然语言处理模型。第一作者Radford。其著名的工作还包括生成对抗网络领域的DCGAN以及强化学习领域的PPO算法。模型架构12层的Transformer解码器块隐藏层维度是768。预训练过程基于语言模型目标函数在大量没有标号的数据集上训练。微调过程同时使用了两个目标函数。第一个目标函数是根据文本序列进行标号第二个目标函数则是语言模型的目标函数。GPT和BERT的效果比较BERT模型在训练阶段的目标函数是完形填空相较于语言模型目标函数来说更加简单因此在数据量较小的情况下更容易取得好的效果GPT模型所基于的语言模型目标函数更加困难因此在较小规模数据训练的情况下效果不如BERT但是其上限会比BERT更高。
GPT-2
GPT-2概述创建了一个更大的数据集并且将模型的参数量变为了15亿从而提升了GPT-1的效果。该模型主打的是将GPT-2应用于下游任务中时可以做到Zero-shot。第一作者仍然是Radford。数据集来源通过reddit搜集数据集搜集到了有史以来最大的数据集。
GPT-3
GPT-3概述GPT-3是一个含有1750亿参数的模型。GPT-3不用也不能进行微调因为这么大的模型即使是微调也是非常困难的。相反它提出通过Few-shot的方法将GPT-3直接应用于下游的NLP任务中。GPT-3的不同规模GPT-3模型有多个不同大小的版本最小的仅包含1亿多的参数最大的模型有1750亿的参数。实验结果在所有NLP任务上取得了很好的成绩。
