西宁建设网站多少钱,网站数据丢失,wordpress主页音乐,晋江小学网站建设摘要
大规模生成语言模型#xff0c;如GPT-3#xff0c;是极具竞争力的少样本学习模型。尽管这些模型能够共同表示多种语言#xff0c;但其训练数据以英语为主#xff0c;这可能限制了它们的跨语言泛化能力。在本研究中#xff0c;我们在一个涵盖多种语言的语料库上训练了…摘要
大规模生成语言模型如GPT-3是极具竞争力的少样本学习模型。尽管这些模型能够共同表示多种语言但其训练数据以英语为主这可能限制了它们的跨语言泛化能力。在本研究中我们在一个涵盖多种语言的语料库上训练了多语言生成语言模型并研究了它们在各种任务中的少样本和零样本学习能力。我们最大的模型拥有75亿个参数在超过20种代表性语言中其少样本学习能力达到了新的技术水平在多语言常识推理在零样本设置中绝对准确率提高了7.4%在四样本设置中提高了9.4%和自然语言推理在零样本和四样本设置中均提高了5.4%方面超越了同等规模的GPT-3。在FLORES-101机器翻译基准测试中我们的模型在182个翻译方向中的171个方向上仅用32个训练样本就超越了GPT-3的对应模型并在45个方向上超过了官方的有监督基线。我们对不同的多语言提示方法进行了深入分析特别展示了通过模板和示例的跨语言转移可以实现跨语言的强上下文少样本学习性能。
1 引言
大型自回归语言模型如GPT-3可以通过少样本和零样本学习适应广泛的任务其成本远低于完全微调Brown等2020Bommasani等2021。这些模型主要是为英语开发的。尽管GPT-3的训练数据中包含一小部分非英语文本7%使其能够实现一些有前景的跨语言泛化但该模型几乎完全用于英语用例。多语言掩码和序列到序列语言模型已经被研究包括mBERT、XLM-R、mT5和mBARTDevlin等2019Conneau等2020Xue等2020Fedus等2021Goyal等2021aLiu等2020。这些模型通常在下游任务中对大量标注数据进行微调。尽管最近在小规模和特定领域任务Winata等2021方面有一些显著的工作但语言模型的多语言少样本学习能力仍不太为人所理解。 在本文中我们训练了四个多语言生成语言模型最多75亿个参数XGLM并对多语言零样本和上下文少样本学习进行了全面研究。我们使用包含30种不同语言的大规模语料库5000亿个词训练这些模型对资源较少的语言进行上采样以实现更平衡的语言表示。我们在多个多语言自然语言理解NLU任务、机器翻译以及Brown等2020展示的英语任务子集上评估了这些模型。 我们发现XGLM展示了强大的跨语言能力使用英语提示与非英语示例相结合可以产生有竞争力的零样本和少样本学习性能。我们最大的模型XGLM7.5B在语言完成和推理任务上实现了强大的零样本和少样本学习性能例如XStoryCloze65.4% 零样本66.5% 四样本XNLI46.3% 零样本47.3% 四样本。它还在FLORES-101基准测试Goyal等2021b中的大量语言对上建立了新的少样本机器翻译技术状态显著优于同等规模的GPT-3模型67亿个参数。另一方面多语言预训练导致英语性能下降。在8个英语NLU任务上XGLM 7.5B在零样本学习中平均比GPT-36.7B低10.9%。GPT-36.7B在几个高资源语言对的机器翻译上也超过了XGLM 7.5B包括WMT-14 en↔fr、WMT-16 en↔de和WMT-19 en↔zh。 我们对不同的多语言提示方法进行了深入分析并分别通过模板和示例检查了跨语言转移。我们展示了非英语模板有时会产生意外的低零样本和少样本学习准确率即使它们是由母语者制作的§4.3。使用英语模板§4.4和添加示例§4.5都提供了有效的补救措施。然而当使用强大的提示语言例如英语时使用另一种语言的示例通常不能进一步提高零样本学习性能这表明跨语言预训练和上下文转移方法仍有改进空间。
2 模型与预训练数据
2.1 预训练数据
语言选择与预处理。我们扩展了用于挖掘CC100语料库的流程Conneau等2020Wenzek等2020以生成CC100-XL这是一个显著更大的多语言数据集涵盖68个Common CrawlCC快照从2013年夏季到2020年3月/4月和134种语言。我们的预训练数据包括30种语言涵盖16个语系。自然数据分布存在偏差英语的词数是最多的是第二大语言的6倍。遵循多语言预训练的相关工作Conneau等2020Liu等2020我们对中低资源语言进行了上采样以创建更平衡的语言分布附录F.1。图1展示了上采样前后预训练数据的语言分布蓝色为上采样前绿色为上采样后。
联合子词词汇表。我们使用通过单字语言模型Kudo2018创建的25万大小的联合词汇表处理所有语言使用SentencePiece库Kudo和Richardson2018。我们根据Lample和Conneau2019中定义的多项分布 0.3从过滤后的数据中随机抽取1000万句子训练单字语言模型。
2.2 模型与训练
我们训练了仅解码器的因果语言模型采用与GPT-3Brown等2020相似的Transformer架构。这使我们能够研究在宽度和深度维度上扩展模型规模的效果。因此我们比较了四个模型分别具有5.64亿、17亿、29亿和75亿个参数。架构细节总结在表1中。我们的模型与GPT-3模型相匹配除了由于更大的词汇表而增加的嵌入参数。所有模型均训练至5000亿词上下文长度为2048词。
3 多语言上下文学习
我们评估了多语言语言模型在不同语言的下游任务中的表现这些任务通过提示指定了少样本示例且无需进一步的参数更新附录B。
3.1 多语言与跨语言提示
先前关于英语上下文学习的研究表明性能在很大程度上取决于提示的构建而为给定语言模型找到最佳提示具有挑战性Gao等2021Perez等2021。在多语言环境中这一问题进一步复杂化因为我们需要为不同语言的示例找到最佳提示。
在本研究中我们考虑了三种为非英语任务获取提示的方法。 手工制作提示。第一种方法是请目标语言的母语者手工制作提示。这种方式创建的提示预计具有最自然的表面形式。然而语言专家的成本较高因此我们进一步考虑了两种替代方法。
从英语提示翻译。我们假设任务的高质量提示可以很容易地从英语中获取Sanh等2021Mishra等2021。非语言提示不包含任何特定语言的词汇例如表2中所示的StoryCloze和WMT提示而语言提示在不同语言中有不同的表现形式表3。如果提示是非语言的我们直接将其应用于其他语言。如果提示是语言的我们使用自动翻译API将其翻译成其他语言。
跨语言提示。我们考虑了第三种方法即直接将英语或另一种高资源语言的提示应用于非英语示例。我们预计这种方法会具有竞争力因为模型在经过多种语言训练后具备跨语言能力。
3.2 从跨语言示例中学习
多语言语言模型的跨语言特性进一步使得在无需参数更新的情况下从上下文中学习不同语言成为可能。为此我们只需将另一种语言的示例附加为语言模型上下文中的演示示例。这种能力使得从高资源语言到低资源目标语言的廉价迁移成为可能。
4 实验与结果
4.1 任务
我们评估了XGLM在零样本和上下文少样本学习能力Brown等2020在一系列下游任务中的表现表4。
多语言任务。我们选择了四个多语言任务涵盖常识推理XCOPA、指代消解XWinograd、自然语言推理XNLI和释义PAWSX。我们还创建了一个新的数据集XStoryCloze通过专业翻译将英语StoryCloze数据集2016年春季版本的验证集翻译成10种其他类型多样的语言俄语、简体中文、拉丁美洲西班牙语、阿拉伯语、印地语、印尼语、泰卢固语、斯瓦希里语、巴斯克语、缅甸语。此外我们在机器翻译§4.8和多语言社会价值观任务附录E.1上评估了我们的模型。 英语任务。我们还在英语常识推理和问答任务上评估了我们的模型这些任务是Brown等2020使用的基准任务的子集并将其性能与最先进的以英语为中心的少样本学习模型进行了比较。
4.2 实验设置
评分函数与校准。我们遵循Perez等2021的建议采用跨任务泛化设置Triantafillou等2020来选择评分函数。我们保留了三个保留任务XNLI、XCOPA和XStoryCloze基于其开发集性能进行选择并将选定的设置直接应用于其余任务。最终我们使用忽略不同候选词共同前缀的每词平均对数概率作为所有多语言任务的评分函数无需额外的校准或归一化。附录C.2详细描述了选择过程。
少样本学习评估。我们重点评估模型在所有任务上的零样本和四样本学习性能。对于跨语言示例§4.5、扩展规律§4.9和翻译§4.8我们还报告了一样本和32样本的性能。我们报告了5次运行的平均结果每次随机抽取不同的少样本示例集。除非另有说明我们使用与目标示例相同语言的少样本示例。附录C.3详细描述了我们的完整评估协议。
4.3 提示方法比较
我们首先使用XGLM7.5B在XNLI和XCOPA任务上比较了§3.1中提出的不同多语言提示方法。作者中的母语者手工制作了以下任务的提示XNLI英语、中文、西班牙语和印地语和XCOPA英语、中文如表3所示。我们将这些人工编写的提示与英语提示、机器翻译MT提示和人工翻译HT提示的性能进行了比较。
表5和表6展示了不同提示方法的性能。在两种任务中英语模板在跨语言平均性能上表现最佳除了XCOPA的四样本设置其中英语模板略逊于机器翻译模板。在XNLI任务中英语模板显著提升了中文zh和印地语hi的性能优于其母语模板和翻译模板。在XCOPA任务中泰语th和斯瓦希里语sw也观察到类似的趋势。对于这两种任务存在某些语言中母语模板显著优于英语模板的情况XNLI中的西班牙语es和XCOPA中的中文这表明未来在特定语言提示工程方面仍有很大的改进空间。 4.4 通过模板进行跨语言迁移
我们进一步探讨了通用提示能力是否仅限于英语以及哪些语言对适合跨语言提示。为此我们将每种人工编写的非英语模板应用于其他语言。如表5和表6所示使用西班牙语提示在所有语言中均表现出竞争力的零样本和四样本性能四样本平均性能与英语模板相当。印地语模板在XNLI任务中对大多数语言尤其是英语的表现也显著高于随机水平。然而中文模板在XNLI任务中对所有语言的表现接近随机水平在XCOPA任务中对泰语零样本和斯瓦希里语零样本的表现也接近随机水平。我们假设预训练数据中的共同子词和代码切换文本的数量在实现跨语言提示中起到了重要作用。一般来说具有大量预训练数据且与其他语言词汇重叠的高资源语言更适合作为通用提示语言。我们将在未来工作中对这一假设进行更系统的验证。
4.5 通过示例进行跨语言迁移
我们在XNLI任务上研究了XGLM7.5B从跨语言示例中学习的能力§3.2。我们为每个训练-评估语言对检查了两种设置同语言提示提示模板和示例使用相同语言和源语言提示演示和测试示例的提示模板均使用源语言。我们使用人工翻译的提示进行同语言提示。
表7展示了XNLI任务中部分语言对的结果其中我们评估了从高资源语言到低资源语言以及类型相似语言之间通过上下文演示示例进行迁移的效果。我们报告了32样本学习结果与零样本学习结果之间的差异。本实验中的非英语模板通过人工翻译获得。虽然它们通常表现不如同语言少样本设置图A2但大多数跨语言少样本设置显著优于目标语言的零样本设置。保加利亚语是一个例外尽管与俄语属于同一语系但它并未从俄语中受益。另一个在跨语言设置中表现不佳的语言是斯瓦希里语低资源我们检查了从英语高资源和阿拉伯语中资源的迁移。相比之下泰语中资源和乌尔都语低资源显著受益于跨语言演示。
我们还观察到如果为目标语言使用更好的提示例如英语提示跨语言示例迁移的益处通常会被抵消。 4.6 多语言任务性能
我们使用英语作为通用提示语言评估了XGLM7.5B在XNLI、XCOPA和XStoryCloze任务上的零样本和少样本上下文学习能力并将其与同等规模的以英语为中心的语言模型进行了比较。
与GPT-3的比较。我们在高资源、中资源、低资源和极低资源语言上将XGLM7.5B与GPT-36.7B进行了比较。结果总结在表9和表10中。在所有三个任务中XGLM7.5B在跨语言平均性能上大幅优于GPT-36.7B尤其是在中资源、低资源和极低资源语言上。在XNLI任务中GPT-36.7B在英语和类似语言上表现良好在英语en、德语de四样本、西班牙语es四样本和法语fr零样本上超过了XGLM7.5B。一个可能的解释是这些语言在GPT-3的训练数据中占比较大法语1.8%德语1.5%西班牙语0.8%如图1所示并且可以从英语的词汇同源词中受益更多。
与翻译测试基线的比较。我们还创建了一个翻译测试基线使用Google Cloud Translation API将多语言任务中的非英语示例翻译成英语并使用GPT-36.7B的内部复现版本GPT-36.7B repl.进行推理。我们发现翻译测试是多语言零样本和少样本学习的一个强大基线如表9和表10所示。在所有三个任务中它显著缩小了英语与其他语言之间的性能差距尤其是在XNLI任务上。
4.7 英语任务性能
我们还在英语任务上对XGLM7.5B的性能进行了基准测试。图2展示了XGLM7.5B、GPT-36.7B和GPT-36.7B复现版本GPT-36.7B repl.在Brown等2020使用的部分英语任务上的比较。我们的GPT-36.7B复现版本GPT-36.7B repl.在所有任务上表现优于或接近GPT-36.7B。虽然XGLM7.5B在所有任务上表现具有竞争力但与GPT-36.7B和GPT-36.7B复现版本相比仍存在显著的性能差距。在大多数任务上XGLM7.5B和GPT-36.7B复现版本随着值变化表现出相似的趋势。例如两个模型在HellaSwag和PIQA任务上的1-shot性能均出现下降而在COPA任务上的128-shot性能也出现下降。
XGLM7.5B在英语任务上表现不如以英语为中心的模型原因有多方面。首先XGLM7.5B的5000亿词训练数据中只有32.6%是英语而以英语为中心的两个模型均训练了接近3000亿英语词。其次XGLM7.5B的模型容量被30种语言共享“多语言诅咒”可能会降低所有语言的性能Conneau等2020。进一步扩大模型容量和训练数据可能有助于缩小这一差距。
4.8 机器翻译性能
我们在表11中报告了在热门WMT语言对上的机器翻译结果并在表12中报告了FLORES-101Goyal等2021b的一个子集的结果。我们对GPT-3和我们自己的模型均使用贪心解码并在每种情况下使用相同的32个示例进行少样本学习。
GPT-3在其训练数据中表现最好的几种语言上取得了强劲的结果在WMT法语-英语、德语-英语和中文-英语以及FLORES-101集中的少数语言对上略微超过我们的模型。当英语作为目标语言时GPT-3表现尤为突出这可能是由于其强大的英语语言建模能力。然而在更广泛的低资源语言集上GPT-3表现不佳。例如在FLORES-101中翻译成韩语、阿拉伯语、斯瓦希里语、印地语、缅甸语和泰米尔语时GPT-3完全失败最佳情况下的spBLEU得分仅为1.2。
相比之下我们的模型在所有语言对上均取得了稳定的结果。除了在FLORES-101集中的182个语言对中的171个上超过GPT-3外我们的模型还与官方有监督基线竞争甚至在45个语言对上超过了它。这表明大规模多语言语言模型在构建低资源语言的机器翻译系统方面具有巨大潜力即使几乎没有或完全没有平行数据可用。 4.9 模型规模扩展
最后我们研究了模型参数规模扩展对其零样本和少样本学习能力的影响。图3展示了四个XGLM模型564M、1.7B、2.9B、7.5B在五个多语言任务上的性能 0、4、32、128。轴表示每个任务在跨语言上的平均准确率。在常识推理任务XStoryCloze、XCOPA、XWinograd上所有模型的性能随着从0增加到32而提高。随着模型规模的增加从示例中获得的性能增益也更大这表明更大的模型能够更好地利用上下文示例。在XNLI任务上所有模型的性能随着从0增加到4而提高但当达到32及以上时性能下降。在相同数量的示例下更大的模型并不总是受益更多。
PAWS-X是一个上下文学习表现较差的任务——所有模型的性能在变化时在随机水平50%附近波动。一个可能的原因是PAWS-X的对抗性设计其释义和非释义对在词汇上有高度重叠。根据当前趋势我们预计扩展模型规模是构建更强大多语言语言模型的有效方法。 5 相关工作
语言模型提示。Brown等2020首次使用GPT-3模型展示了上下文少样本学习。这种方法消除了对任务特定模型参数更新的需求通常用于微调的少样本示例在推理时提供给同一模型以完成每个任务。在几种高资源拉丁语言对上GPT-3仅需少量示例即可达到接近或优于最先进有监督模型的机器翻译性能。这种学习范式的变化引发了关于多语言性的新问题而这一问题尚未得到广泛研究。Winata等2021评估了GPT-2、GPTNEO和T5在三种额外语言德语、西班牙语、法语上的上下文少样本学习能力使用了多种自然语言理解任务并考虑了单语言提示和跨语言提示展示了英语GPT和T5模型的多语言上下文学习能力。Zhao和Schutze2021评估了XLM-R上的不同微调和提示调优方法Liu等2021并展示了提示在少样本跨语言迁移和多语言掩码语言模型的语言内训练中的有效性。
多语言预训练。早期的多语言预训练工作在多语言语料库上训练词嵌入Mikolov等2013。随后开发了上下文嵌入模型的多语言版本如BERTDevlin等2019、RoBERTaLiu等2019、BARTLewis等2019和T5Raffel等2020的多语言版本mBERTDevlin等2019、XLM-RConneau等2020、mBARTLiu等2020和mT5Xue等2020。这些模型在单一的多语言文本语料库如mC4Xue等2020或CC25Liu等2020上进行了训练。为了促进跨语言迁移已开发了多种方法包括支持高效跨语言共享词汇学习的子词分词器Kudo和Richardson2018以及用于跨语言高效知识迁移的联合训练Pires等2019Jiang等2020Kassner等2021等。一个值得注意的并行工作是BLOOM它将多语言预训练扩展到46种语言和1750亿参数。
6 结论
我们介绍了四种不同规模的多语言生成语言模型XGLM并研究了它们的上下文少样本和零样本学习能力。我们展示了XGLM的少样本学习能力随着模型规模的扩大而稳步提升。我们最大的模型75亿参数在超过20种语言包括中低资源语言的常识推理、自然语言推理NLI和机器翻译任务上为少样本学习设定了新的技术标准。深入分析表明这些模型具有高度的跨语言能力从而在非英语语言中表现出强大的少样本学习性能。
局限性
尽管多语言语言模型是构建包容性通用基础模型的重要一步但我们当前的模型存在以下局限性
训练数据。我们的模型是在从CommonCrawl提取的静态多语言语料库上训练的其中英语文本占总词数的32.6%相当于1630亿词。语料库中的英语数据部分仅占GPT-3训练数据的约54%。我们应用了多种数据过滤策略作为数据质量的代理详见附录F中的数据卡片例如通过URL删除重复文档和段落、过滤掉数字和标点符号比例高的段落、删除包含不当内容的段落、通过最大URL数量和最小长度进行过滤等。这种过滤可能会导致预训练中使用的剩余数据存在偏差需要进一步分析以理解。此外原始数据来自静态的CommonCrawl快照可能不包含快照时间跨度截至2020年3月之外的实体和事件例如COVID-19等。因此我们还注意到CommonCrawl与GPT-3使用的语料库包括CommonCrawl、BookCorpus和Wikipedia之间的潜在差异。
此外GPT-3在118种语言上进行了训练尽管93%的数据是英语。相比之下我们的模型在经过严格语言识别和过滤后仅在30种语言上进行了训练。
英语任务性能。如第4.7节和图2所示我们的模型在从常识推理到问答的八项任务上表现不如以英语为中心的模型。造成这种差距的因素可能包括
训练数据质量的差异XGLM仅在过滤后的CommonCrawl数据上训练而以英语为中心的模型在包括CommonCrawl以及BookCorpus和Wikipedia等高质量语料库的数据上训练和数量如前所述多语言模型仅使用了以英语为中心模型的54%的英语数据多语言诅咒。以往的多语言训练研究表明增加共享参数模型中的语言数量会损害所有训练语言的性能例如英语Conneau等2020。 通过控制这些因素进行额外实验可能会更清楚地解释观察到的差距。
模型架构和训练目标。在本研究中我们仅尝试了具有仅解码器架构的因果语言模型这些模型之前展示了有前景的少样本学习能力Brown等2020。然而这种架构和预训练目标并未利用双向上下文例如掩码语言模型MLM或具有去噪自编码器预训练目标的序列到序列架构。
通过上下文学习进行模型评估。我们主要在上下文学习范式中将我们的语言模型与基线进行比较除非明确指定否则所有语言模型使用相同的提示。尽管在提示设计上投入了最少的精力但提示可能在某些模型上效果更好这为评估引入了偏差。然而我们预计这一因素的影响较小鉴于评估任务的数量模型的相对优势可以可靠地衡量。
更多语言的社会价值任务评估。我们评估并分析了模型在仇恨言论检测和职业性别偏见方面的表现。这些研究受到可用评估数据集的限制。我们的研究仅限于六种语言英语、法语、西班牙语、意大利语、葡萄牙语和波兰语其中大多数5种属于罗曼语族。在得出明确结论之前有必要在更广泛和多样化的语言集上研究多语言模型对社会价值任务的影响。此外我们认为对其他任务如刻板印象、伦理的研究将提供更全面的模型行为视角。
伦理考量
设计多语言预训练语言模型可以成为NLP工具箱中的强大工具原因如下
能源和维护效率。从工程角度来看XGLM属于一类模型这些模型代表了服务于多种语言的单一统一模型具有广泛的应用。这种单一模型节省了碳足迹和能源消耗与为不同语言单独训练模型相比从而提高了能源效率。尽管单一模型存在单点故障的风险但其易于维护、访问、分发和跟踪的优势显著。
多样性和包容性。像XGLM这样的模型代表了从以英语为中心的NLP世界观向平等服务于所有语言的范式转变。关注此类模型的设计对于确保公平性和包容性至关重要例如通过平衡语言代表性来体现。XGLM的进一步优势在于其在零样本和少样本设置中能够与以英语为中心的模型相媲美。拥有在这种设置中表现良好的强大多语言模型特别是对于中低资源语言有助于减轻为这些语言创建监督数据的负担尤其是经济困难的语言中低数字存在通常与经济差距密切相关。此外拥有服务于稀缺语言的模型可以促进这些语言的科学研究从而推动更广泛的NLP多样性和科学多样性。
社会价值。我们进一步研究了我们的模型对仇恨言论检测和偏见等社会价值问题的影响附录E。尽管总体结果尚无定论接近负面但我们注意到在数据相对稀缺的设置波兰语中多语言模型优于以英语为中心的模型这表明XGLM在资源较少的语言上表现良好。这对于社会价值任务尤为重要因为获取高质量标注数据的固有成本使得获取训练数据非常困难。
透明度和问责制。本着大规模语言建模的透明度和问责精神我们在模型和论文发布时提供了详细的模型卡片和数据卡片。
