php建设网站所用开发软件,oa管理系统免费版,网络营销的特征和功能,网站备案没公司本文是LLM系列文章#xff0c;针对《YaRN: Efficient Context Window Extension of Large Language Models》的翻译。 YaRN#xff1a;大型语言模型的有效上下文窗口扩展 摘要1 引言2 背景和相关工作3 方法4 实验5 结论 摘要
旋转位置嵌入#xff08;RoPE#xff09;已被…本文是LLM系列文章针对《YaRN: Efficient Context Window Extension of Large Language Models》的翻译。 YaRN大型语言模型的有效上下文窗口扩展 摘要1 引言2 背景和相关工作3 方法4 实验5 结论 摘要
旋转位置嵌入RoPE已被证明可以在基于Transformer的语言模型中有效地编码位置信息。然而这些模型无法推广到它们所训练的序列长度。我们提出了YaRN另一种RoPE扩展方法这是一种扩展此类模型上下文窗口的计算效率高的方法与以前的方法相比需要减少10倍的token和2.5倍的训练步骤。使用YaRN我们表明LLaMA模型可以有效地利用和外推到比其原始预训练所允许的更长的上下文长度同时也超过了以前最先进的上下文窗口扩展。此外我们证明了YaRN表现出超越微调数据集的有限上下文进行推断的能力。我们将Llama 2 7B/13B的检查点发布在https://github.com/jquesnelle/yarn.
1 引言
2 背景和相关工作
3 方法
4 实验
5 结论
总之我们已经证明YaRN改进了所有现有的RoPE插值方法可以作为PI的替代品没有缺点实现工作量最小。经过微调的模型在多个基准测试上保留了它们的原始能力同时能够处理非常大的上下文大小。此外YaRN允许在较短的数据集上进行有效的外推和微调并可以利用迁移学习实现更快的收敛这两者在计算受限的情况下都是至关重要的。最后我们展示了使用YaRN进行外推的有效性它能够“短时间训练长时间测试”。
