外贸网站建设方法,东莞人才网 东莞招聘信息,免费制作个人网站的软件,免费ftp转换wordpressXTuner 大模型单卡低成本微调实战 Finetune简介增量预训练微调指令跟随微调LoRA XTuner介绍功能亮点 8GB显存玩转LLMFlash AttentionDeepSpeed ZeRO 上手操作平台激活环境微调 参考教程#xff1a;XTuner
Finetune简介
LLM的下游应用任务中#xff0c;增量预训练和指令跟随… XTuner 大模型单卡低成本微调实战 Finetune简介增量预训练微调指令跟随微调LoRA XTuner介绍功能亮点 8GB显存玩转LLMFlash AttentionDeepSpeed ZeRO 上手操作平台激活环境微调 参考教程XTuner
Finetune简介
LLM的下游应用任务中增量预训练和指令跟随是经常会用到的两种微调模式
增量预训练微调
使用场景让基座模型学习到一些新知识如某个垂直领域的常识 训练数据文章、代码、书籍等
指令跟随微调
使用场景让模型学会对话模版根据人类指令进行对话 训练数据高质量的对话、问答数据 在实际对话时经常有三种角色
system 给定一些上下文信息 比如你是一个xxxuser 实际用户 给提出一些问题Assistant 根据user的输入结合system的上下文信息 作出回答
LoRA
LoRA是通过在原本的Linear旁新增一个支路包含两个连续的小Linear 新增的这个支路通常叫做Adapter Adapter参数远小于原本的Linear 能大幅减低训练的显存消耗。
XTuner介绍
功能亮点
适配多种生态
多种微调算法适配多种开源生态自动优化加速
8GB显存玩转LLM
Flash Attention 和 DeepSpeed ZeRO是XTuner最重要的两个优化技巧
Flash Attention
将Attention计算并行化 避免了计算过程中Attention Score NxN的显存占用
DeepSpeed ZeRO
通过将训练过程中的参数、梯度和优化器状态切片保存能够在多GPU训练时使用FP16的权重相较于Pytorch的AMP训练在单GPU上也能大幅节省显存 上手操作
平台
Ubuntu Anaconda CUDA/CUDNN 8GB nvidia显卡
激活环境
conda create --name xtuner0.1.9 python3.10 -y
mkdir xtuner019 cd xtuner019
git clone -b v0.1.9 https://github.com/InternLM/xtuner
# 进入源码目录
cd xtuner# 从源码安装 XTuner
pip install -e .[all]准备在 oasst1 数据集上微调 internlm-7b-chat
# 创建一个微调 oasst1 数据集的工作路径进入
mkdir ~/ft-oasst1 cd ~/ft-oasst1微调
准备配置文件
XTuner 提供多个开箱即用的配置文件用户可以通过下列命令查看
# 列出所有内置配置
xtuner list-cfg假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH$PATH:‘/root/.local/bin’ 拷贝一个配置文件到当前目录 # xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH} cd ~/ft-oasst1
xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .配置文件名的解释
