东莞寮步网站设计,什么是网站结构,免费建自己的网站赚钱,Wordpress外贸网站搭建公司预训练模型
预训练模型是在大规模数据集上进行了预先训练的模型#xff0c;通常包含了通用的特征或知识。
通常用于迁移学习#xff0c;即将预训练模型的知识迁移到新的任务中。
例子#xff1a;BERT、GPT、VGG等。 训练好的模型#xff1a;
训练好的模型是根据你的特定…
预训练模型
预训练模型是在大规模数据集上进行了预先训练的模型通常包含了通用的特征或知识。
通常用于迁移学习即将预训练模型的知识迁移到新的任务中。
例子BERT、GPT、VGG等。 训练好的模型
训练好的模型是根据你的特定任务和数据集进行了调整和训练的模型。
它们可以在特定任务上表现很好但对于其他任务可能不那么有效。
例子一个在特定数据集上训练好的图像分类模型。
总的来说预训练模型是一种通用的模型可以适用于许多不同的任务而训练好的模型是根据特定任务和数据进行了定制的因此它们在特定任务上可能会比预训练模型更有效。 Sota
Sota实际上就是State of the arts 的缩写指的是在某一个领域做的Performance最好的model一般就是指在一些benchmark的数据集上跑分非常高的那些模型。
SOTA model并不是特指某个具体的模型而是指在该项研究任务中目前最好/最先进的模型。 SOTA result指的是在该项研究任务中目前最好的模型的结果/性能/表现。 Benchmark、Baseline
Benchmark和baseline都是指最基础的比较对象。你论文的motivation来自于想超越现有的baseline/benchmark你的实验数据都需要以baseline/benckmark为基准来判断是否有提高。唯一的区别就是baseline讲究一套方法而benchmark更偏向于一个目前最高的指标比如precisionrecall等等可量化的指标。举个例子NLP任务中BERT是目前的SOTA你有idea可以超过BERT。那在论文中的实验部分你的方法需要比较的baseline就是BERT而需要比较的benchmark就是BERT具体的各项指标。 非端到端模型
传统机器学习的流程往往由多个独立的模块组成比如在一个典型的自然语言处理Natural Language Processing问题中包括分词、词性标注、句法分析、语义分析等多个独立步骤每个步骤是一个独立的任务其结果的好坏会影响到下一步骤从而影响整个训练的结果这是非端到端的。 端到端模型
从输入端到输出端会得到一个预测结果将预测结果和真实结果进行比较得到误差将误差反向传播到网络的各个层之中调整网络的权重和参数直到模型收敛或者达到预期的效果为止中间所有的操作都包含在神经网络内部不再分成多个模块处理。由原始数据输入到结果输出从输入端到输出端中间的神经网络自成一体也可以当做黑盒子看待这是端到端的。 迁移学习
迁移学习通俗来讲就是运用已有的知识来学习新的知识核心是找到已有知识和新知识之间的相似性用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高我们故而转向运用已有的相关知识来辅助尽快地学习新知识。比如已经会下中国象棋就可以类比着来学习国际象棋已经会编写Java程序就可以类比着来学习C#已经学会英语就可以类比着来学习法语等等。世间万事万物皆有共性如何合理地找寻它们之间的相似性进而利用这个桥梁来帮助学习新知识是迁移学习的核心问题。 微调
微调其实讲的是利用原有模型参数“知识”初始化现有模型在此基础上继续train自己的model“再加工”。说人话就是把现成的模型略加修改然后再作少量training主要用于样本数量不足的情形。 监督学习
是使用足够多的带有label的数据集来训练模型数据集中的每个样本都带有人工标注的label。通俗理解就是模型在学习的过程中“老师”指导模型应该向哪个方向学习或调整。 非监督学习
是指训练模型用的数据没有人工标注的标签信息通俗理解就是在“没有老师指导”的情况下靠“学生”自己通过不断地探索对知识进行归纳和总结尝试发现数据中的内在规律或特征来对训练数据打标签。 半监督学习
是在只能获取少量的带label的数据但是可以获取大量的的数据的情况下训练模型让学习器不依赖于外界交互自动地利用未标记样本来提升学习性能半监督学习是监督学习和非监督学习的相结合的一种学习方法。 泛化Generalization
模型的泛化能力通俗易懂的说就是模型在测试集其中的数据模型以前没有见过中的表现也就是模型举一反三的能力但是这些数据必须满足与iid独立同分布并在同一个分布中。 举个例子一张图片模型之前没有见过但是这张图片与TrainDataSet在同一分布并满足iid模型可以很好的预测这张图这就是模型的泛化在测试集中模型预测新数据的准确率越高就可以说是模型的泛化能力越好。 正则化Regularization
正则化即为对学习算法的修改旨在减少泛化误差而不是训练误差。正则化的策略包括
约束和惩罚被设计为编码特定类型的先验知识。偏好简单模型。其他形式的正则化如集成的方法即结合多个假说解释训练数据。 吞吐量
首先在书面解释时速率是额定或标称的但是实际传输时其实不稳定的吞吐量就是取平均值。假设你从学校骑电动车回家这条公路限速80km/h这就可以理解成“带宽”也就是“最高传输速率”。所骑电动车厂家宣称最高时速30km/h这可以理解成“速率”也就是“额定速率或标称速率”。但是你不可能全程以30km/h速度行驶可能会碰到红灯或者堵车这时你的速度就会放慢了这条路的长度除以你行驶时间所得平均行驶速度就可以理解成“吞吐量”。 大模型
一般指1亿以上参数的模型但是这个标准一直在升级目前万亿参数以上的模型也有了。大语言模型Large Language ModelLLM是针对语言的大模型。 指令微调
Instruction FineTuning针对已经存在的预训练模型给出额外的指令或者标注数据集来提升模型的性能如P-tuning prompt-tuningprefix-tuning。 增量微调
是指在神经网络中增加额外的层如loraadapter。 175B、60B、540B
这些一般指参数的个数B是Billion/十亿的意思175B是1750亿参数这是GPT3的参数规模。 强化学习
(Reinforcement Learning一种机器学习的方法通过从外部获得激励来校正学习方向从而获得一种自适应的学习能力。 基于人工反馈的强化学习RLHF)
Reinforcement Learning from Human Feedback构建人类反馈数据集训练一个激励模型模仿人类偏好对结果打分这是GPT-3后时代大语言模型越来越像人类对话核心技术。 涌现
研究发现模型规模达到一定阈值以上后会在多步算术、大学考试、单词释义等场景的准确性显著提升称为涌现。 思维链
Chain-of-ThoughtCoT。通过让大语言模型LLM将一个问题拆解为多个步骤一步一步分析逐步得出正确答案。需指出针对复杂问题LLM直接给出错误答案的概率比较高。思维链可以看成是一种指令微调。 参考于
深度学习常见名词概念Sota、Benchmark、Baseline、端到端模型、迁移学习等的定义-CSDN博客
