如何免费做网站推广的,wordpress做小说网站,做问卷调查的网站有啥,网站上全景云台怎么做的概述
微调#xff0c;Fine-Tuning#xff0c;简称FT#xff0c;可理解为对LLM的定制#xff0c;目的是增强专业领域知识#xff0c;并优化特定任务的性能。通过在特定数据集上微调一个预训练模型#xff0c;可实现#xff1a;
更新知识#xff1a;引入新的领域专属信…概述
微调Fine-Tuning简称FT可理解为对LLM的定制目的是增强专业领域知识并优化特定任务的性能。通过在特定数据集上微调一个预训练模型可实现
更新知识引入新的领域专属信息定制行为调整模型的语气、个性或响应风格优化任务提升针对特定任务场景的准确性和相关性降低成本避免从头训练模型。
可将微调后的模型视为一个专门优化的Agent更高效地执行特定任务。
优势通过修改模型参数永久地提高模型能力。
劣势若处理不当很可能造成模型原始能力的灾难性遗忘即导致模型原始能力丢失对于复杂模型尤其如此。因此需小心谨慎地设计模型微调数据集和微调训练流程并经过反复多次训练验证得到最佳模型。
应用场景
风格微调适用于客服系统、虚拟助理等场景微调得到不同语气、情感表达、礼貌程度、回答方式、对话策略等。知识灌注微调可将外部知识或领域特定的信息快速集成到已有的预训练模型中。多轮推理微调能更高效地理解长文本、推理隐含信息或从数据中提取逻辑关系。能力提升在MAS系统或工具调用(Function CallFC)场景中微调能显著提升Agent能力使得模型能够学会更精准的功能调用策略、参数解析和操作指令进而有效地与其他系统进行交互、调用外部API或执行特定任务。
策略
Supervised FTSFT有监督微调指使用带标签的目标任务数据集对预训练模型进行训练通过模型预测结果与真实标签的误差反向传播更新模型参数的过程。
核心特点依赖高质量标注数据训练过程有明确监督信号模型收敛方向更明确。
全量微调(Full FTFFT)和参数高效微调(Parameter-Efficient FTPEFT)
维度FFTPEFT定义对预训练模型所有参数进行更新无参数冻结仅更新模型一小部分参数通常1%其余参数冻结参数更新范围100%模型参数0.1%~1%参数依方法不同略有差异计算/存储成本极高需支持全量参数反向传播千亿级模型需多卡集群极低仅更新小部分参数单卡GPU即可支持数据依赖需大量标注数据通常数万十万条否则易过拟合数据需求低数千万条即可抗过拟合能力更强性能上限理论性能最高可充分适配任务性能接近全量微调多数场景下差距5%部分任务可持平适用场景数据量充足、计算资源雄厚资源有限、数据量少、多任务快速适配
FFT优势无参数冻结模型可充分学习任务特性在数据量充足时能达到最优性能。
劣势
成本极高以千亿参数模型为例全量微调需数十张H100单日训练成本可达数万元数据需求高若标注数据不足易导致过拟合模型记住训练数据泛化能力差存储压力大训练过程中需保存大量中间参数如梯度、优化器状态对存储容量要求极高。
主流PEFT方法
LoRALow-Rank Adaptation低秩适应。一个超大话题需另起一篇。Instruction Tuning指令微调Prompt Tuning提示词微调Prefix Tuning前缀微调Adapter Tuning适配器微调
数据量/资源推荐方法适用场景数据量充足10万条、计算资源雄厚FFT大厂核心业务如电商平台情感分析、机器翻译数据量中等1万条、资源有限LoRA中小企业领域适配如医疗对话、法律文档问答数据量少1万条、资源有限其他小样本任务如特定领域NER、少量标注分类任务
LoRA凭借低成本高性能的平衡已成为当前LLM微调的主流选择。
Prompt Tuning
思想不改变模型原始权重仅通过优化输入提示词本身来引导模型输出期望结果提示词可以是离散的人工设计模板或连续的可训练的向量如P-Tuning。
微调对象只微调与输入提示相关的少量参数如Prompt Embedding不改变语言模型主体参数。
典型方法P-Tuning、P-Tuning v2。
Instruction Tuning
思想通过在大量指令-输入-输出对数据上微调整个模型或部分参数让模型学会理解和执行各种自然语言指令。
微调对象模型参数本身全参数微调或部分参数微调。
特点
目标是增强模型对自然语言指令的泛化能力使其能直接按照用户指令执行任务。微调后模型对提示工程依赖较低输出更自然、一致。需大量标注数据计算成本相对较高。
Prefix Tuning
思想与Prompt Tuning类似在输入序列前添加一段可训练的连续向量即前缀Token会参与模型的注意力计算仅优化这些前缀参数其余模型参数冻结。
微调对象仅前缀参数通常占模型总参数的0.1%。
特点
适用于生成类任务前缀长度可调长度越长效果通常越好但推理速度几乎不受影响。
Adapter Tuning
论文
思想在预训练模型的每一层或部分层插入小型适配器模块通常由两层MLP构成如BottleNeck结构降维→激活→升维仅训练这些适配器参数模型主体冻结。
微调对象适配器模块参数通常占模型总参数的3~5%。
特点
几乎不影响原模型结构推理时只需额外计算适配器部分适配器模块可针对不同任务分别训练灵活性强参数量比Prefix Tuning大但通常效果更稳定。
其他微调方法对比
方法微调对象是否改模型权重参数占比适用场景优点缺点Prompt Tuning输入提示连续/离散否极低资源受限、快速适配高效、极低计算开销依赖提示工程效果有限Instruction Tuning模型参数全/部分是较高通用指令执行、多任务输出自然、泛化强需大量标注数据、开销大Prefix Tuning输入前缀连续向量否极低生成任务参数极省、推理快仅适合生成类任务Adapter Tuning插入适配器模块否低理解生成任务灵活、稳定、可插拔参数略多训练略复杂
对比RAG
参考RAG概述。
针对特定任务的专业性 微调让模型深入理解某个特定领域或任务使其能精准处理结构化、重复性高或具有复杂背景的查询这是RAG无法独立完成的推理速度更快 微调后的模型直接生成答案无需额外的检索步骤适用于对响应速度要求极高的场景。个性化行为与风格 微调可精准控制模型的表达方式确保其符合品牌风格、行业规范或特定约束。为模型添加新知识 微调的核心目标之一让模型掌握全新的概念或知识只要数据集中包含相关信息。
RAG微调结合两者以发挥最大优势
RAG让系统具备动态获取最新外部知识的能力微调让模型掌握核心专业知识即使没有外部检索也能稳定发挥作用还能帮助模型更好地理解和整合检索回来的信息任务专业性微调擅长特定任务RAG提供最新外部知识两者互补适应性当检索失败时微调后的模型依然能维持高水平的性能RAG让系统无需频繁重新训练也能保持知识更新效率微调建立稳定的基础RAG则减少对大规模训练的需求仅在必要时提供额外信息。
实战
一些建议
微调没有单一的最佳方式只有适用于不同场景的最佳实践使用Unsloth等易入门的开源框架从4比特QLoRA量化入手使用免费云服务器资源如Google Colab和Kaggle Notebook。
数据集
微调流程中数据集质量直接决定微调效果尤其是当模型需具备复杂功能如FC、混合推理或应用于特定领域任务时。
模型通过特殊字符标记识别输入类型、系统提示和输出边界数据集需遵循模型的格式规范。以Qwen3为例
|im_start|标记文本开始后跟角色如user/assistant/system|im_end|标记文本结束。
标记可在模型的tokenizer_config.json文件中查看完整定义。
常见微调数据集格式
基础问答Alpaca风格适用于简单指令微调包含instruction、input和output三个核心字段。示例
{instruction: 识别并解释给定的科学理论,input: 细胞理论,output: 细胞理论是生物科学的基础理论认为所有生命体由细胞构成细胞是生物的基本结构和功能单位。
}微调时脚本会自动将其转换为Qwen3等模型兼容的标记格式
|im_start|user
识别并解释给定的科学理论细胞理论|im_end|
|im_start|assistant
细胞理论是生物科学的基础理论...|im_end|带系统提示和FC若需提升模型的FC能力数据集需包含系统提示、工具定义和调用示例。系统提示明确FC规则工具定义通过tools描述函数参数。对话示例
|im_start|system
你是天气助手查询天气时需调用get_weather函数。
tools[{name:get_weather,parameters:{location:城市名称}}]/tools|im_end|
|im_start|user
北京天气如何|im_end|
|im_start|assistant
tool_call{name:get_weather,arguments:{location:北京}}/tool_call|im_end|高效微调仅能优化现有FC能力无法让模型从无到有学会该功能。
带思考过程为提升模型推理能力数据集需包含中间思考步骤用特殊标记分隔思考过程与最终输出。例如
|im_start|system
你是数学助手需展示解题步骤。|im_end|
|im_start|user
计算35×2的结果。|im_end|
|im_start|assistant
think用户问的是3加5乘2先算乘法再算加法5乘2等于10再加3就是13。/think35×231013|im_end|作为示例和思路为混合推理模型构造微调数据集采用多数据集拼接策略核心步骤
选择基础数据集 普通对话数据如FineTome-100k含10万条多轮对话ShareGPT风格用于保留模型的自然交互能力。推理类数据如OpenMathReasoning含54万道数学题及详细解题步骤用于强化逻辑推理能力。 数据集配比调整需根据微调目标平衡不同类型数据的比例 若侧重数学推理可按7:3比例混合若需均衡能力可按5:5比例混合避免模型过度偏向单一任务。 格式统一与清洗确保所有数据转换为Qwen3兼容的标记格式过滤重复样本、错误标注和低质量内容避免模型学习噪声数据。
数据集下载渠道HF、ModelScope魔搭社区简称MS
框架
LLaMA-Factory
57.5K Star7K Fork。参考LLaMA-Factory。
Unsloth
参考Unsloth实战。45.1K Star3.6K Fork。
ColossalAI
GitHub41.1K Star4.5K Fork。一个高效的分布式人工智能训练系统旨在最大化提升AI训练效率最小化训练成本。作为DL框架内核提供自动超高维并行、大规模优化库等前沿技术。
优势表现与英伟达Megatron-LM相比仅需一半数量的GPU即可完成GPT-3训练半小时内预训练ViT-Base/32并在两天内训练完15亿参数的GPT模型。提供多种并行技术如数据并行、流水线并行和张量并行以加速模型训练。
强化学习训练则推荐veRL和OpenRLHF等框架。
MS-Swift
MS社区推出GitHub9.7K Star851 Fork。
XTuner
上海AI实验室的InternLM团队推出的开源4.7K Star354 Fork轻量化LLM微调工具库支持LLM多模态图文模型的预训练及轻量级微调。
特点
高效仅需8GB显存即可微调7B模型支持多节点跨设备微调70B LLM。通过自动分发FlashAttention、Triton kernels等高性能算子加速训练兼容DeepSpeed能轻松应用ZeRO优化策略提升训练效率灵活兼容InternLM等多种主流LLMs和LLaVA多模态图文模型支持预训练与微调。数据管道设计灵活兼容任意数据格式支持QLoRA、LoRA及全量参数微调等多种算法全能支持增量预训练、指令微调与Agent微调提供丰富的开源对话模板便于与模型交互。训练所得模型可无缝接入部署工具库LMDeploy、评测工具库OpenCompass及VLMEvalKit实现从训练到部署的全流程支持。
安装
# 环境准备
conda create --name xtuner-env python3.10 -y
conda activate xtuner-env
# 源码安装
git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e .[deepspeed]
# 验证
xtuner list-cfgXTuner支持增量预训练、单轮对话、多轮对话三种数据集格式
增量预训练数据集用于提升模型在特定领域或任务的能力单轮对话和多轮对话数据集则经常用于指令微调阶段以提升模型回复特定指令的能力。
MindSpeed LLM
GitHub。
对比选型
维度LLaMA-FactoryUnslothMS-SwiftMindSpeed LLM定位微调主打模块化与多场景适配微调加速聚焦性能与效率优化显存优化型训练加速引擎多模态全栈工具链昇腾硬件深度优化框架社区生态中文社区活跃提供Web UI工具HF生态兼容开发者论坛活跃MS框架整合天池/魔搭社区资源华为昇腾社区双轨支持兼容MindSpore/PyTorch双后端优势模块化设计、多硬件自适应、量化技术高速微调、低内存占用、主流模型兼容、显存效率极致优化多模态DPO训练推理吞吐量提升20倍昇腾910B训练速度超A100 2.3倍支持千亿参数模型分布式训练局限全参微调速度较慢存在历史安全漏洞社区较新文档不完善依赖Triton内核经验生态依赖性强脱离MS扩展性受限硬件适配单一非昇腾环境支持有限硬件支持NVIDIA/AMD/Ascend GPU、Mac M系列芯片主要支持NVIDIA GPUNVIDIA GPU 为主部分支持Ascend NPU算子兼容问题昇腾910B/910C NPU支持训推共卡模型支持支持主流支持主流兼容HuggingFace格式支持主流500纯文本模型、200多模态模型支持主流新增MindSpore后端训练效率全参微调速度较Unsloth慢30%支持DeepSpeed分布式40GB可处理70B模型GRPO流程优化多卡训练效率提升40%DDPFSDP集成vLLM加速千亿参数模型分布式训练效率领先GRPO训练速度提升显著显存优化动态量化2-8bit梯度检查点8B模型微调显存10GB动态4bit量化Triton内核重写显存占用减少80%PEFT技术混合精度训练显存占用降低70%算子融合内存复用70B模型训练显存32GBGRPO优化后微调策略全参微调、LoRA、QLoRA支持DPO、SimPO对齐LoRA、QLoRA、动态量化训练GRPO强化学习LoRA、GaLore、Q-GaLore多模态DPO训练QLoRA、DPO、PPO支持训推共卡模式易用性低代码Web UI数据标注-训练-部署一键式操作API简洁5分钟上手提供Colab一键启动脚本依赖MS数据工具多模态任务配置模板化需熟悉Ascend-CANN工具链昇腾专用SDK典型场景多模态内容生成、行业LLM私有化部署资源受限环境快速迭代、学术研究原型开发多模态对话系统、长文本生成16K Token昇腾集群部署的千亿参数模型训练、金融风控/政务合规场景
其他框架
框架优势适用场景Hugging Face高度兼容易用文档丰富一般NLP任务模型选择丰富LoRA显存节省减少微调计算量显存有限的设备微调大规模模型PEFT高效微调低计算开销资源有限的环境适合大规模预测级模型的微调DeepSpeed大规模分布式训练显存优化超大规模训练多卡分布式训练AdapterHub低资源消耗快速微调多任务微调资源有限的环境Alpaca-LoRA生成任务优化LoRA技术结合对话生成、文本生成FastChat对话系统微调快速集成对话生成任务尤其是对ChatGPT等模型微调FairScale大规模分布式训练优化自动化优化多卡分布式训练大规模微调
资料
Notebook
Unsloth AI开源Notebook涵盖
BERT、TTS、视觉等多模态GRPO、DPO、SFT、CPT等方法论数据准备、评估、保存等微调阶段Llama、Gemma、Phi等模型其他工具调用、分类、合成数据
参考
