wordpress下拉列表,徐州品牌网站建设|徐州网站优化|徐州网络公司-徐州启思信息科技,白城网站建设公司,关键词在线试听前言
以BERT模型为代表的“预训练语言模型 下游任务微调”训练模式成为了自然语言处理研究和应用的新范式。此处的下游任务微调是基于模型全量参数进行微调#xff08;全量微调#xff09;。
以 GPT3 为代表的预训练语言模型#xff08;PLM#xff09;参数规模变得越来越…前言
以BERT模型为代表的“预训练语言模型 下游任务微调”训练模式成为了自然语言处理研究和应用的新范式。此处的下游任务微调是基于模型全量参数进行微调全量微调。
以 GPT3 为代表的预训练语言模型PLM参数规模变得越来越大这使得在消费级硬件上进行全量微调变得不可行。除此之外模型全量微调还会损失多样性存在灾难性遗忘的问题。 ps全量finetune它们动辄需要几十至上百G显存训练部署一般的实验室和个人开发者无力承担。 由此引出高效微调的方法高效微调是指固定大部分预训练参数仅微调少量或额外的模型参数从而大大降低了计算和存储成本同时也能实现与全量微调相当的性能。在某些情况下高效微调比全量微调效果更好可以更好地泛化到域外场景。
高效微调技术粗略分为以下几类
增加额外参数A类适配器Adapter-like、软提示Soft prompts选取一部分参数更新S引入重参数化R
常见的参数高效微调技术有BitFit、Prefix Tuning、Prompt Tuning、P-Tuning、Adapter Tuning、LoRA等。
PEFT
PEFTParameter-Efficient Fine-Tuning参数高效微调是一个用于高效微调的库。 支持多种任务和模型包括
Causal Language ModelingLLaMA、ChartGLM等Conditional GenerationT5、BART等Sequence ClassificationToken ClassificationText-to-Image GenerationStable DiffusionImage ClassificationViT、SwinImage to text (Multi-modal models)… 支持的微调方法LoRAPrompt tuningIA3…
SWIFT
SWIFTScalable lightWeight Infrastructure for Fine-Tuning是基于PyTorch的轻量级、开箱即用的大模型微调、推理框架。它不仅集成了各类开源tuners如LoRA、QLoRA、Adapter等并且融合了ModelScope魔塔独立自研的特有tuner ResTuning得益于此各个模态的开发者均可以找到适合自己模型的开发方式。
SWIFT可以无缝集成到ModelScope生态系统中打通数据集读取、模型下载、模型训练、模型推理、模型上传等流程。此外SWIFT与PEFT完全兼容 熟悉PEFT的用户可以使用SWIFT能力结合ModelScope的模型进行便捷地训练推理。
作为ModelScope独立自研的开源轻量级tuner ResTuning该技术在cv、多模态等领域均经过了系列验证在训练效果和其他微调方法相当的情况下可以做到显存节省30%~60%为cv、多模态模型的训练提供了新的范式在未来会应用在越来越多的场景上。
支持的模型 qwen 系列、qwen-vl 系列、baichuan 系列、chatglm2 系列、llama 系列、openbuddy-llama 系列、internlm 系列、stable diffusion系列、其他系列模型polylm-13bseqgpt-560m支持的数据集 NLPalpaca-en (gpt4)alpaca-zh (gpt4)finance-enmulti-alpaca-allcode-eninstinwild-eninstinwild-zhcot-encot-zhfirefly-all-zhpoetry-zhinstruct-engpt4all-encmnli-zhjd-zhdureader-robust-zhmedical-enmedical-zhmedical-mini-zhsharegpt-ensharegpt-zhcode-python-zhadvertise-genAgentdamo-agent-zhdamo-agent-mini-zh多模态coco-en其他cls-fudan-news-zhner-jave-zh 可支持的微调方法LoRAQLoRAResTuningSidePromptAdapterPEFT全系列tuners全参数支持的显卡GTX20系列、30系列、40系列消费级显卡A10A100V100T4H100
