营销型网站是什么样的,html5 自适应网站,wordpress同步qq空间,织梦网站建设培训文 | kid丶源 | 知乎编 | 兔子酱今天跟大家分享一篇很有意思的文章#xff0c;是一篇探讨深度学习模型记忆遗忘机制的文章#xff0c;是一篇角度很新颖的题材#xff0c;同时又有一定启发作用。这篇文章发表在深度学习顶会ICLR19#xff0c;标题是《An empirical stud… 文 | kid丶源 | 知乎 编 | 兔子酱今天跟大家分享一篇很有意思的文章是一篇探讨深度学习模型记忆遗忘机制的文章是一篇角度很新颖的题材同时又有一定启发作用。这篇文章发表在深度学习顶会ICLR19标题是《An empirical study of example forgetting during deep neural network learning》。这篇文章是我最近看到的最有意思的文章之一了同时我跑了这篇文章的代码并做了很深入的研究和分析。很有意思值得一读希望这篇博客能对您目前的工作有所启发首先我们来看一个机器学习里的基本概念“learnt”与“forget”。learnt与forget如果一个样本被模型learnt代表该样本能够被模型正确分类。接着本文定义了一个十分有意思的概念叫做forgetting event即样本在某个时间点 t 被learnt然后在之后的一个时间点 t 被错误分类了其中 t t这样的一个事件称之为 forgetting event 。相反如果一些样本它一旦被 learnt 之后再也没有被忘记过那么我们称该样本为 unforgettable examples。举个例子它就像小孩在学习记单词一样对于单词 apple如果这个小孩能认出它是苹果这说明这个单词被 learnt小孩又陆陆续续的记了很多其它的单词当他再一次遇到单词apple的时候如果此时小孩觉得该单词的意思是梨子那么说明这个单词被小孩遗忘了这个事件称之为 forgetting event。对于一些简单的单词例如car被小孩学会后再也没有被遗忘过那么这些单词我们称之为 unforgettable examples。那么对于神经网络在学习样本的时候哪些样本会被容易 learnt哪些样本容易被模型遗忘哪些样本又会是 unforgettable examples 呢文章给出了三个非常重要且有指导性的结论CIFAR10、CIFAR100这类的数据集中存在着大量的 unforgettable examples。即这些样本一旦被模型学会将不再遗忘并且这一现象与随机种子的设置以及不同模型结构的选择无关。具有噪声标记的样本往往是most forgettable examples这一点有利于我们去识别噪声样本。如果把很大一部分least forgettable examples丢掉用剩下的样本进行训练在测试集上仍然具有极具竞争力的性能。首先来看第一个结论上图分别代表在三个不同数据集上的结果。可以看出forgetting event 为 0 的样本数占绝大多数也就是说绝大部分样本一旦被模型学会了就不会再被遗忘。第二个结论如上图所示代表 forgetting event 在两种样本上的分布。左边的图红色是噪声样本绿色是干净样本。右边的图代表同一批样本在加噪声前(蓝色)和在加噪声后(红色)的分布情况。其实两者是从两个不同的方面来刻画噪声样本和干净样本对 forgetting event 的分布差异。可以明显看出噪声样本的分布(红色)比较靠右也就是说噪声样本容易被模型忘记当然这一结论也很符合认知。第三个结论更有意思首先两个图的纵坐标都是测试集上的准确率。左边的图的横坐标为训练集被移除的百分比右边图的横坐标为被移除样本的 forgetting event 的平均数。首先来看左边这个图红、绿、蓝线分别代表不移除、有选择性的移除以及随机移除样本其中有选择性的移除是指优先移除掉 forgetting event 小的样本。换句话来说首先把那些 unforgettable examples 的简单样本从训练集中拿掉然后再慢慢拿掉一些遗忘次数较少的样本可以看出在有选择性的拿掉 20%-30% 的样本时模型的性能竟丝毫没有下降后续就算性能下降了也会比随机的拿掉要好。右边这个图也有类似的结果和结论。这个实验主要想说明一个问题那就是重要的样本往往是那些被遗忘次数多的样本。换句话说对于学习一个有效的分类模型我们只需要关注那些遗忘次数多的样本就够了。接着我们来看看 unforgettable and forgettable examples 有怎样的区别。很显然也很容易想到就是不容易被遗忘的那些样本往往是一些简单样本其目标清楚、明显且背景简单单一而那些容易被忘记的样本往往是一些难样本其背景复杂且目标不清楚、不完整等等。总结首先难样本和噪声样本都容易被模型忘记。再看结论3把绝大部分unforgettable样本丢掉发现性能基本没掉。说明 unforgettable的样本其实对训练模型没啥帮助有就行了多没用换句话说只需要难样本就行了但是呢噪声样本也往往是 most forgettabel的然后我又不想要噪声样本这就有矛盾了也能带来很多思考了。欢迎大家在评论区分享你的想法文末福利后台回复关键词【入群】 加入卖萌屋NLP/IR/Rec与求职讨论群有顶会审稿人、大厂研究员、知乎大V和妹纸等你来撩哦~
