百度提交网站收录,高德地图怎么看邮编,网站建设网页设计做网站,上海市建设工程监理咨询有限公司文章目录 论文地址主要内容主要贡献模型图技术细节实验结果 论文地址
PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
主要内容
这篇文章的主要内容是介绍了一种名为PeriodicLoRA#xff08;PLoRA#xff09;的参数高效微调#xff08;Parameter-… 文章目录 论文地址主要内容主要贡献模型图技术细节实验结果 论文地址
PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
主要内容
这篇文章的主要内容是介绍了一种名为PeriodicLoRAPLoRA的参数高效微调Parameter-Efficient Fine-TuningPEFT方法旨在解决大型语言模型Large Language ModelsLLMs微调过程中的低秩瓶颈问题。文章首先讨论了大型语言模型在自然语言处理任务中的应用越来越广泛但全参数微调这些模型需要大量的计算资源。为了解决这一问题研究者们开发了参数高效微调方法其中LoRALow-Rank Adaptation是最广泛使用的方法之一。LoRA通过优化低秩矩阵来减少微调过程中的内存使用但与全参数微调相比其性能仍有差距。
为了克服这一限制文章提出了PLoRA方法该方法通过多次累积低秩更新矩阵来实现更高的更新秩。PLoRA包含多个训练阶段在每个阶段结束时将LoRA权重卸载到主干参数中然后重新初始化LoRA状态。实验结果表明PLoRA具有更强的学习能力最多可达LoRA学习能力的1.8倍而且不会增加内存使用。此外文章还介绍了一种基于动量的卸载策略以减轻PLoRA训练过程中的不稳定性。
文章还讨论了相关工作包括监督微调、参数高效微调、LoRA及其变体并详细介绍了PLoRA方法的实现细节。此外文章还提供了实验设置、数据集、实验结果和讨论以及PLoRA方法的局限性和未来研究方向。最后文章总结了PLoRA的贡献并提供了参考文献列表。
主要贡献
文章的主要贡献可以总结为以下几点 提出PLoRA方法文章引入了PeriodicLoRAPLoRA这是一种新的参数高效微调PEFT方法旨在突破LoRA微调中的低秩瓶颈。PLoRA通过在多个训练阶段中累积低秩更新矩阵来实现更高的更新秩从而提高模型的学习能力。 实验验证文章通过在不同PEFT设置下对LLaMA 7B模型进行指令微调并在多主题多选题、数学推理以及语言理解和推理任务上评估性能证明了PLoRA相比于相同秩的LoRA具有更好的性能并且没有引入额外的内存开销。 深入分析文章对PLoRA的训练过程进行了详细的分析揭示了PLoRA相比于原始LoRA具有更强的学习能力。特别是在不同任务中应用PLoRA后学习能力的提升。 公开调优结果文章公开了在调整超参数方面的完整结果为选择适当的PLoRA设置提供了参考。 方法的简化和效率与现有的LoRA变体相比PLoRA方法更为简单和高效它通过周期性地卸载和重新初始化LoRA状态来实现高秩更新而不是通过增加模型复杂性或内存开销。
这些贡献表明PLoRA是一个有前景的方法可以在保持参数效率的同时提高大型语言模型在特定任务上的性能尤其是在资源受限的情况下。此外文章的实验结果和分析为未来的研究提供了有价值的见解和方向。
模型图 在LoRA训练中只有矩阵A和B被更新而模型权重被冻结用蓝色表示。然后在完成所有训练之后使用训练后的矩阵A和B来更新模型权重。
而在PLoRA方法中在每次小批量训练之后在继续训练之前转移LoRA中矩阵A和B的权重以更新模型权重并重置它们自己。此循环在一个历元内重复N次。在图中浅橙色表示小批量的学习能力而橙色表示截至当前的累积学习能力。
PLoRA就是在训练过程中练一个小的LoRA然后加到预训练模型权重后面然后LoRA重置接着练一个训练过程可以得到好多个LoRA矩阵练好一个加一个直到训练过程结束。
技术细节 首先LoRA就是一次训练过程中只训练A、B两个低秩矩阵W预训练参数冻结。 简单来说PLoRA就是一次训练过程中逐渐训练多个A、B矩阵训练好一组就把他们加到预训练模型参数中冻结然后重新初始化一组A、B继续只训练A、B过了两个epoch觉得差不多就再加到W冻结再开一组A、B因此一次训练过程可以得到多组A、B
人多力量大了
因此 PLoRA方法的得到的预训练模型的参数 例如一次训练过程搞出了T组A、B其实相当于有个T个秩为r的矩阵来学习了。
然后有选择地更新LoRA将BA乘积按1−m缩放将A和B矩阵按m缩放。这种方法解决了由于数据集可变性而导致的小批量损失不一致的问题。
可以看一段伪代码加深理解
import torch
import torch.nn as nn
from torch.optim import AdamW# 假设我们有一个预训练的Transformer模型
class TransformerModel(nn.Module):# ... Transformer模型的定义 ...def forward(self, x):# ... 前向传播的实现 ...return x# 初始化模型和优化器
model TransformerModel()
optimizer AdamW(model.parameters(), lr1e-4)# 初始化LoRA的权重矩阵A和B
rank 10 # 假设我们选择的秩为10
A torch.randn(model_dim, rank) # 随机初始化A
B torch.zeros(model_dim, rank) # 初始化B为零# 训练循环
num_stages 5 # 假设我们有5个训练阶段
for stage in range(num_stages):# 在每个阶段我们只更新A和Bfor data, target in train_loader:optimizer.zero_grad()# 假设我们有一个函数来应用LoRA权重更新updated_weights apply_lora_weights(model, A, B)# 执行前向传播和损失计算output model(data)loss loss_fn(output, target)# 反向传播和参数更新loss.backward()optimizer.step()# 阶段结束时将更新的权重应用到模型的主干参数上apply_updated_weights_to_model(model, updated_weights)# 重置A和B为初始状态A torch.randn(model_dim, rank)B torch.zeros(model_dim, rank)# 应用LoRA权重更新的函数
def apply_lora_weights(model, A, B):# 这里应该是将LoRA的权重更新应用到模型的特定层上# 具体实现取决于模型的结构和LoRA的实现细节pass# 将更新的权重应用到模型的函数
def apply_updated_weights_to_model(model, updated_weights):# 这里应该是将累积的LoRA权重更新应用到模型的主干参数上# 具体实现取决于模型的结构和LoRA的实现细节pass# 假设的损失函数和数据加载器
loss_fn nn.CrossEntropyLoss()
train_loader ... # 你的数据加载器# 开始训练
train(model, loss_fn, optimizer, num_epochs)实验结果 基于经验证据文章将4.8k数据设置为训练期间PLoRA的卸载点。 PLoRA在复杂任务的表现更好 调整缩放参数的影响 PLoRA在复杂任务上收敛更快
还有一些实验结果先这样
