网站统计热力图,青海省建设厅网站备案资料,济南经三路专业做网站,wordpress替换链接来源#xff1a;人机与认知实验室概要#xff1a;人类的知识#xff0c;往往由事实 fact 和规则 rule 组成#xff0c;而且人类习惯于用简练的词汇#xff0c;来表达事实和规则。所以#xff0c;维特根斯坦认为#xff0c;人类思维受制于语言结构#xff0c;语言的界限… 来源人机与认知实验室概要人类的知识往往由事实 fact 和规则 rule 组成而且人类习惯于用简练的词汇来表达事实和规则。所以维特根斯坦认为人类思维受制于语言结构语言的界限决定思维的界限。[1] 笔记让人脑洞大开 2017年9月26日深度学习大佬 Yoshua Bengio 在 Arxiv 上发表了一篇笔记标题是 The Consciousness Prior 意识先验【中文翻译详见本微信工作号昨天文章】。 之所以说这篇文章不是严谨的论文而是笔记是因为这篇文章既没有严谨的算法和公式也没有严谨的实验结果和分析而是一篇冥想和提议。 但是笔记往往比论文更有启发就如同与教授喝咖啡聊天往往更容易学到教授的思想方法。 [2] 人类思维的解构 Yoshua Bengio 在这篇文章里把人类思维解构为三个层次感知 Perception、表征 Representation、和意识 Consciousness。 面对一张人物照片人类 “感知” 到的是一堆像素。进而抽象到 “表征”包括五官、发型、服饰、背景等等。再进一步抽象到 “意识”包括凝重的表情、粗犷的外表、苍凉的环境等等。 Yoshua Bengio 提议可以借鉴深度学习模型譬如 RNN来模拟从感知到表征的第一次抽象的过程。h_{t} F( s_{t}, h_{t-1} )其中 s_{t} 是感知的像素h_{t-1} 是前序的表征h_{t} 是修正后的表征。 他进而又提议从表征到意识的第二次抽象的过程也可以借鉴深度学习模型来完成。 c_{t} C( h_{t}, c_{t-1}, z_{t} )其中 c_{t} 是意识z_{t} 是噪音。 之所以有噪音是因为意识的界定往往模糊。譬如粗犷和野性虽然有区别但是难以并没有严格界定。 假如我们有大量做好标签的照片就可以训练从感知到表征的深度学习模型 F( * )和从表征到意识的模型 C( * )。 一个简单的系统架构是 3-layer stacked RNN。当然也可以尝试用更多层的复杂架构或者用 CNN 替换 RNN或者用 Attention-based Transformer 来替换 RNN。 [3] 人类思维的重构 从感知到表征到意识是人类思维的解构过程。为了验证解构的正确Yoshua Bengio 提议通过重构来完成验证。 训练好从感知到表征的模型 F( * )和从表征到意识的模型 C( * ) 以后假如电脑能够自动合成一张人像照片表情凝重、外表粗犷、背景苍凉那么重构宣告成功。 如果重构成功那么解构也被证明是成功的。 重构的模型可以用 GAN 和 VAE 来尝试。 [4] 打破语言的束缚解放思维 模型 F( * ) 的输出是表征譬如五官、发型、服饰、背景等等。模型 C( * ) 的输出是意识譬如表情凝重、外表粗犷、背景苍凉等等。 意识的形态是张量是一组数字。但是人类习惯用词汇来表达意识。Yoshua Bengio 提议意识与词汇之间的关系仍然可以用深度学习模型来模拟 u_{t} U( c_{t}, u_{t-1} )其中 c_{t} 是意识u_{t-1} 是前序词汇u_{t} 是修正后的词汇。 哲学家维特根斯坦曾说“人有着这种感觉他心里想说的话总比他用言辞表述得更为清楚”。U( * ) 这个模型把维特根斯坦的判断表述得既清晰又简练。 人类的知识往往由事实 fact 和规则 rule 组成而且人类习惯于用简练的词汇来表达事实和规则。所以维特根斯坦认为人类思维受制于语言结构语言的界限决定思维的界限。 Yoshua Bengio 提议直接用意识 c_{t} 来表达知识而不受语言 u_{t} 的制约。 进而推论不妨尝试用深度学习模型或者强化学习模式来重构思维逻辑而不屈从于规则和一阶逻辑那样的推理演绎方式的束缚。
