承德网站开发,wordpress商城源码,h5网站开发 源码,安卓开发软件有哪些一、前言
对于 ChatGLM2-6B 模型基于 PEFT 的特定任务微调实验。
1.1 硬件需求 注：r 为LoRA 维数大小，p 为前缀词表大小，l 为微调层数，ex/s 为每秒训练的样本数。gradient_accumulation_steps 参数设置为 1。上述结果均来自于单个 Tesla V100 GPU，仅供参考。 1.2 微调方…一、前言
对于 ChatGLM2-6B 模型基于PEFT的特定任务微调实验。
1.1 硬件需求
注：r 为LoRA 维数大小，p 为前缀词表大小，l 为微调层数，ex/s 为每秒训练的样本数。gradient_accumulation_steps 参数设置为 1。上述结果均来自于单个 Tesla V100 GPU，仅供参考。 1.2 微调方法
目前我们实现了针对以下高效微调方法的支持：
LoRA：仅微调低秩适应器。P-Tuning V2：仅微调前缀编码器。Freeze：仅微调后几层的全连接层。1.3 软件依赖
Python 3.8+, PyTorch 2.0.0Transformers, Datasets, Accelerate, TRL, PEFT（最低需要 0.3.0.dev0）protobuf, cpm_kernels, sentencepiecejieba, rouge_chinese, nltk（用于评估）/
