科技公司企业网站源码,如何免费建购物网站,网站空间流量,做服装外单的网站有哪些内容目标#xff1a; 让机器自己学会学习#xff0c;学会理解和判断事物的异同#xff08;如#xff0c;区分两张图片内是相同的东西还是不同的东西#xff0c;不是识别出是什么东西#xff09;
Pretraining
前景知识 C o s i n e S i m i l a r i t y Cosine \ Similarity…目标 让机器自己学会学习学会理解和判断事物的异同如区分两张图片内是相同的东西还是不同的东西不是识别出是什么东西
Pretraining
前景知识 C o s i n e S i m i l a r i t y Cosine \ Similarity Cosine Similarity
作用 衡量两个向量之间的相似度 S o f t m a x Softmax Softmax: S o f t m a x C l s s i f i e r Softmax \ Clssifier Softmax Clssifier
具体过程
利用深度神经网络来提取特征该网络需要被预训练 —— 结构和预训练方法会对最终结果产生影响拿预训练的网络对 S u p p o r t S e t Support \ Set Support Set 中的各任务各类别 K W a y K \ Way K Way提取特征—— 每个任务中的各元素分别提取特征 N S h o t N \ Shot N Shot再合起来做均值再做归一化成为该任务类别的表征 对 Q u e r y Query Query 做分类 F i n e T u n i n g Fine \ Tuning Fine Tuning
背景 P r e t r a i n i n g Pretraining Pretraining 中的分类一步即 S o f t M a x SoftMax SoftMax函数的输入可以是 w × x b w \times x b w×xb但之前设定 W M , b 0 WM,b0 WM,b0
Fine \ Tuning 在 s u p p o r t t u n i n g support \ tuning support tuning中训练分类器即训练 w w w和 b b b—— 可以提高准确性 小技巧
好的初始化原先就直接拿 M M M进行分类的 E n t r o p y R e g u l a r i z a t i o n Entropy \ Regularization Entropy Regularization C o s i n e S i m i l a r i t y Cosine \ Similarity Cosine Similarity S o f t m a x C l a s s i f i e r Softmax \ Classifier Softmax Classifier 就是内积前做了一个归一化
