关于科技园区建设文章的网站,如何做漫画赚钱的网站,湖南北山建设集团股份有限公司官方网站,长沙建网站联系电话文章目录 1.Fine-tuning (微调)2.Transfer Learning (迁移学习)3.Knowledge Distillation (知识蒸馏)4.Meta Learning (元学习) 这里的相关概念都是基于已有预训练模型#xff0c;就是模型本身已经训练好#xff0c;有一定泛化能力。需要“再加工”满足别的任务需求。
进入后… 文章目录 1.Fine-tuning (微调)2.Transfer Learning (迁移学习)3.Knowledge Distillation (知识蒸馏)4.Meta Learning (元学习) 这里的相关概念都是基于已有预训练模型就是模型本身已经训练好有一定泛化能力。需要“再加工”满足别的任务需求。
进入后GPT时代对模型的Fine-tuning也将成为趋势借此机会我来科普下相关概念。
1.Fine-tuning (微调)
有些人认为微调和训练没有区别都是训练模型但是微调是在原模型训练好的的基础上做针对性的再训练。微调一般用额外的数据集降低学习率让模型适应特定任务。
2.Transfer Learning (迁移学习)
迁移学习大意是让模型适应新的任务这涉及模型的改进和再训练。可以把微调看作是迁移学习的一种。
相比微调迁移学习很多时候并不需要训练原有模型可以只训练一部分或者给模型加1-2层后用元模型的输出作为迁移学习的输入训练额外添加部分即可。
3.Knowledge Distillation (知识蒸馏)
KD目标是用一个小模型去学习大模型的能力在保证基线性能的前提下降低模型的参数和复杂度。
4.Meta Learning (元学习)
Learning to Learning就是学会学习这个概念并不需要预训练模型。元学习是指模型学习各类任务数据然后学会各类任务的共性从而适应新的任务。
