视频网站开发工具,网店代运营十大排名,网站 用户登陆 模板,如何创建设计个人网站如何区分高频信息和低频信息#xff1f;
如果一个东西是高度离散化和语义化的#xff0c;一个字的差异也可能导致词语之间的含义发生重大变化#xff0c;就是高频东西。例如一句话#xff0c;如果你改变了一个单词#xff0c;这个句子就会变成其他的意思。还有就是经过en…如何区分高频信息和低频信息
如果一个东西是高度离散化和语义化的一个字的差异也可能导致词语之间的含义发生重大变化就是高频东西。例如一句话如果你改变了一个单词这个句子就会变成其他的意思。还有就是经过encoder后的东西改变一个张量可能也会导致decoder出的东西差距很大。对于图像这种你改变几个像素值他代表的东西还是那样的例如你对一个狗的图片改变了几个像素块它还是一只狗。这有点像3D中的不变性了哈哈.... 举例 语言语言是人类创造的本身就是高度语义和信息密集的。
图像它在空间上是高度冗余的对于图片中的某个部分模型很容易由其相邻的图像块推断出来不需要大量的高级语义信息。你改变几个像素值他代表的东西还是那样的。 由此可见
图像和语言的信息密度是不一样的。对于语言本身就是高度语义和信息密集的将句子中的少量词语抹去再让模型去预测这些被抹去的词本身就已经是比较困难的任务了
而对于图像则相反它在空间上是高度冗余的对于图片中的某个部分模型很容易由其相邻的图像块推断出来不需要大量的高级语义信息。
因此在 CV 中要 mask 掉图片中的较多的部分这样才能使任务本身具有足够的挑战性从而使模型学到良好的潜在特征表示。【也就是说设计的任务越有挑战性模型学习到的东西越多】
