电商网站制作,如何攻击网站,wordpress dns,深圳装修网文章#xff1a; https://arxiv.org/abs/2106.09685 文章目录 摘要介绍LoRA的特点什么是低秩适应矩阵#xff1f;什么是适应阶段#xff1f;低秩适应矩阵被注入到预训练模型的每一层Transformer结构中#xff0c;这一步是如何做到的#xff1f; 摘要
自然语言处理的一个重…文章 https://arxiv.org/abs/2106.09685 文章目录 摘要介绍LoRA的特点什么是低秩适应矩阵什么是适应阶段低秩适应矩阵被注入到预训练模型的每一层Transformer结构中这一步是如何做到的 摘要
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练并适应特定任务或领域。随着我们预训练更大的模型全面微调即重新训练所有模型参数变得不太可行。以GPT-3 175B为例 - 部署独立的微调模型实例每个模型有175B个参数成本过高。我们提出了低秩适应或LoRA它冻结了预训练模型的权重并将可训练的秩分解矩阵注入到Transformer架构的每一层中大大减少了下游任务的可训练参数数量。与使用Adam微调的GPT-3 175B相比LoRA可以将可训练参数数量减少10,000倍GPU内存需求减少3倍。LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3的模型质量上表现出与微调相当或更好的性能尽管它具有更少的可训练参数、更高的训练吞吐量并且与适配器不同没有额外的推理延迟。我们还对语言模型适应中的秩缺失进行了实证研究这揭示了LoRA的有效性。我们发布了一个软件包可以方便地将LoRA与PyTorch模型集成并在https://github.com/microsoft/LoRA 上提供我们的RoBERTa、DeBERTa和GPT-2的实现和模型检查点。
介绍
许多自然语言处理中的应用依赖于将一个大规模、预训练的语言模型适应到多个下游应用程序。这种适应通常通过微调来完成微调会更新预训练模型的所有参数。微调的主要缺点是新模型包含与原始模型一样多的参数。随着每隔几个月训练更大的模型这从仅仅是对于GPT-2Radford等b或RoBERTa大型Liu等2019的一个“不便”变成了对于具有1750亿个可训练参数的GPT-3Brown等2020的一个关键的部署挑战。
许多人试图通过仅适应一些参数或为新任务学习外部模块来缓解这一挑战。这样我们只需要在每个任务中存储和加载一小部分与任务相关的参数除了预训练模型这样在部署时可以大大提高操作效率。然而现有的技术往往通过扩展模型深度或减少模型可用序列长度LiLiang2021Lester等2021Hambardzumyan等2020Liu等2021第3节引入推理延迟。更重要的是这些方法往往无法与微调基线相匹配提出了效率和模型质量之间的折衷。
我们受到Li等人2018a和Aghajanyan等人2020的启发他们表明学习的过度参数化模型实际上驻留在低固有维度上。我们假设模型适应期间权重的变化也具有低“固有秩”这导致了我们提出的低秩适应LoRA方法。LoRA允许我们通过优化适应期间密集层的秩分解矩阵间接地训练一些密集层同时保持预训练权重冻结如图1所示。以GPT-3 175B为例我们展示了即使在完整秩即d高达12,288时非常低的秩即图1中的r可以是一或两也足以满足要求使LoRA在存储和计算方面都非常高效。LoRA具有几个关键优势。
预训练模型可以被共享并用于构建许多不同任务的小LoRA模块。我们可以冻结共享模型并通过替换图1中的矩阵A和B来高效地切换任务从而大大降低存储需求和任务切换开销。LoRA使训练更加高效并且在使用自适应优化器时将硬件门槛降低了最多3倍因为我们不需要计算大多数参数的梯度或维护优化器状态。相反我们只优化注入的、更小的低秩矩阵。我们简单的线性设计允许我们在部署时将可训练矩阵与冻结的权重合并与完全微调的模型相比不会引入推理延迟因为构造上是如此。LoRA与许多先前的方法是正交的可以与其中许多方法结合使用例如前缀调整。我们在附录E中提供了一个示例。 LoRA的特点
低秩适应矩阵在适应阶段LoRA引入了一个低秩矩阵将其与预训练的权重矩阵相乘以生成适应后的权重。这个低秩矩阵的引入使得适应过程中的参数数量大大减少从而降低了计算成本和内存需求。
参数共享LoRA允许大部分模型参数在不同任务之间进行共享只有少量参数需要在适应特定任务时进行微调。这种参数共享的机制使得在部署时可以快速切换任务而无需针对每个任务都维护独立的模型实例。
无额外推理延迟在部署时可以通过计算和存储适应后的权重矩阵来执行推理而无需额外的推理延迟。当需要切换到另一个任务时可以通过简单的操作来恢复原始的权重矩阵实现快速任务切换。
与其他方法的结合LoRA是一种灵活的适应策略可以与其他高效适应方法结合使用从而进一步提升模型性能。例如可以将LoRA与前缀调整等方法相结合实现更好的适应效果。
什么是低秩适应矩阵什么是适应阶段
低秩适应矩阵是指在LoRALow-Rank Adaptation中引入的一种机制用于在适应阶段对预训练模型进行调整以适应特定任务或领域。在适应阶段低秩适应矩阵被注入到预训练模型的每一层Transformer结构中以减少可训练参数的数量从而降低计算成本和内存需求。
具体来说适应阶段是指在将预训练模型应用于特定任务之前的阶段其中通过引入低秩适应矩阵来对模型进行微调以适应任务的需求。在适应阶段预训练模型的权重被冻结而低秩适应矩阵则被训练以调整模型以适应新任务。通过这种方式可以在不重新训练所有模型参数的情况下实现对模型的有效调整从而提高了适应的效率和速度。
低秩适应矩阵是LoRA中的关键组成部分用于在适应阶段对预训练模型进行调整以实现高效的任务适应和模型优化。适应阶段是指在应用模型于特定任务之前的阶段其中通过引入低秩适应矩阵来对模型进行微调以适应任务的需求。
低秩适应矩阵被注入到预训练模型的每一层Transformer结构中这一步是如何做到的
在LoRA中低秩适应矩阵被注入到预训练模型的每一层Transformer结构中是通过以下步骤实现的 选择注入层首先确定要将低秩适应矩阵注入的Transformer模型的每一层。通常这些层包括Self-Attention层和前馈神经网络Feed-Forward Neural Network层。 构建低秩适应矩阵为每个选择的层构建低秩适应矩阵。这些矩阵通常由两个较小的矩阵相乘得到其中一个矩阵的维度较小从而降低了参数数量。 将低秩适应矩阵与权重矩阵相乘在适应阶段将构建的低秩适应矩阵与每一层的权重矩阵相乘以生成适应后的权重矩阵。这样可以在保持模型结构的同时通过调整低秩矩阵的参数来实现对模型的微调。 训练低秩适应矩阵在训练过程中通过优化算法如梯度下降来调整低秩适应矩阵的参数以最大程度地适应特定任务或领域的需求。这样可以在不改变预训练模型大部分参数的情况下实现对模型的有效调整。
通过以上步骤低秩适应矩阵可以被成功注入到预训练模型的每一层Transformer结构中从而实现对模型的高效适应和优化。这种注入机制使得在适应阶段可以快速调整模型以适应特定任务的需求同时保持模型的整体结构和质量。
