石家庄做网站wsjz,seo研究中心超逸seo,wordpress 多站点开启,2016年做网站能赚钱来源#xff1a;混沌巡洋舰这两天深度学习祖师Yoshua Bengio 的 Neural Production System 刷新了AI圈子。与以往的深度学习套路不同的是#xff0c; 这篇文章有效的把符号主义AI对人类认知的模拟与深度学习结合#xff0c; 得到了一个能够学习规则的神经机器。我们先来看下… 来源混沌巡洋舰这两天深度学习祖师Yoshua Bengio 的 Neural Production System 刷新了AI圈子。与以往的深度学习套路不同的是 这篇文章有效的把符号主义AI对人类认知的模拟与深度学习结合 得到了一个能够学习规则的神经机器。我们先来看下这个框架的总体思路。什么是规则其实在计算机诞生之初 规则就是一系列的if else表达式当某种条件激活 产生某个行为最终达到某个效果 比如如果天气太冷多穿衣服就暖和了。人类的知识大多可以表达成这种形式实体经由某个动作得到某个结果。与之相应的是一阶逻辑和因果这个过程是学习到一些抽象规则然后在具体的案例中将实体和规则匹配得到。比如亚里士多德是人 人是动物会死亡 所以亚里士多德会死这样的关系或者果汁是一种饮用液体可以解渴因此喝果汁可以解渴这种。也就是对实体和类属性进行绑定 然后通过类属性关联的逻辑法则将两者有效绑定。最后实现一个推理的过程演绎法状态-规则-动作-状态 迭代循环。这是人类认知推理过程最基本的步骤。过去的专家系统模型以文中讲到的production system为代表就是对这样的认知流程的机械模拟把它们写成程序套进去但是很快发现这件事是走不通的 因为存在太多的例外 通过对人类已知的规则进行穷举如同数清天上的星辰。而且并非所有的问题尽可以由显示的规则描述。深度学习兴起之后人类的直觉感知能力能够被机器模拟从而使得没有被计算机世界囊括的大量数据插上了数字化的翅膀 如图像音频。其实本质上深度学习实现了信息的翻译流程例如分类器的结果就是将图像这类感知信息语义化。但是同时 深度学习一直缺失符号化的一些核心能力比如所谓的利用逻辑规则进行推理的能力。一种最基本的方法是把感知符号化分类器的结果加上人工规则 比如人脸识别后的结果送到人物数据库搜索罪犯的系统-决定某人是否可以坐火车。而通过神经网络来实现规则学习的最接近的应该是GNN图神经网络 它可以学习实体节点和实体节点的相互作用法则并推理 比如推测化学分子的性质。但是图神经网络有个巨大的问题是它依然依赖已经符号化的实体然后在这些实体间构建关系。而bengio的新工作则利用了一种80年代出现的专家系统的思想为它们插上神经网络的翅膀 从而使得逻辑规则是可以学习的。事实上神经符号主义的最大问题是符号化的痕迹太重而失去了神经系统的灵活性 太轻很难学到规则。而bengio怎么掌握这个火候呢神经网络最擅长的是做模式识别 它巧妙的利用了变量绑定variable binding的思想 把逻辑规则和实体相分离 然后用类似注意力的机制学习哪些逻辑规则应该匹配哪些实体。这样 我们既不要强迫在感知数据里提取符号实体的类型 也不需要强迫规则的模式一切都是神经网络浑然天成学到。我们来看怎样一个浑然天成首先如果用神经网络这样的矩阵乘加来表达。这里需要关注的是如何得到规则的神经表示 假定规则是某种图的形式 那么它必然是一个稀疏的有向图 因为规则关系往往有几个核心的点1 规则往往是稀疏的 规则中出现的实体数量往往很少 当规则的激活条件达到 某种行为被启动。2 规则是抽象的 从而保证范化能力。如果一个规则适应的是非常特定的实体比如某个人。3 规则往往是非对称的 体现因果性。这样的规则是专家系统的底座这个把上述模式转化为神经算子的过程就是NPS框架的基本功劳了。那么我们看下这个NPS是怎么说的1 基于用entity extraction module 提取感知信息中的实体信息 这一步类似用自注意力机制选择需要被关注的实体。2 由于NPS旨在模拟实体和实体相互作用稀疏规则 因此需要用注意力机制选择primary slot和rule 也就是规则中的主体和所对应的法则。这一步涉及rule selector 也就是到底哪条规则被触发是由神经网络表示。类似于天下雨要带雨伞 天晴要带遮阳伞这种if else 表示。3 有了规则主体和规则 进一步选择context slot这对应规则里面出现的另一个对象从而构成相互作用的一对实体比如加数和被加数最终得到完整rule的表达式由一个多层神经网络MLP表示。这个选择过程不是一步完成而是分成primary和context slot 本质上做到了对非对称规则的拟合。4 迭代 多步使用类似的rule的执行机制实现推理目标。大家注意到这种框架的关键成功之处是在框架的建设中合理运用稀疏性 对称性这种底层的先验偏置而非直接使用符号并通过这些偏置诱导神经符号的产生 这符合bengio一段时间里的长期思路 例如RIMrecurrent independent mechansim 把独立因果规则的先验转化为神经算子 这种范式应该是当下具有普遍性的统一连接主义和符号主义人工智能的方法。如果我们不是采用这种方法而是直接将实体用人工构建的规则相关联也就回到了旧有知识图谱规则的方法就不会那么灵活 。以下的例子就是很好的对上述过程的解释。我们学习一个对Minist手写数字进行各种常规非常规操作的rule比如旋转平移每个rule展开都是一个MLP。通过这个规则的匹配选择 我们会得到一个手写数字的神经操作系统。另一个更好的例子是物理系统 这里面包含三个不同形状的实体 实体的重量不同 规则就是重的撞轻的轻的会飞。这是在物理碰撞背后的因果关系 而这种关系是可以通过下面的有向无环图体现的。注意这里的物理关系以因果关系的一般形式体现而不是牛顿作用力那种相互关系的形式。只要学到了这种微观的两两因果关系就可以进一步的通过把整个时间过程进行拆解在每个时刻仅仅关注相互作用的物体而达到预测整个物理系统的效果。那么这种方法是否也是一个走向通用人工智能的道路呢我想这确实部分的接近了事实的真相。因为作为AGI框架首先要体现出人类经过进化和文明得到的符号本体网络也就是如世间万事万物的知识树通过DALLE等transformer框架可以想象如何诱导出这样一棵知识树。也就是通过预训练 引导整个符号体系的生成。而另一方面 在具备了成体系的符号系统后 必然的需要让AI系统具备和人一样的在符号层面进行逻辑推理的能力。这种能力就来源于类似NPS的形式 把符号或因果中的结构先验提取出来我们可以称之为元结构meta structure- 产生其它结构的结构 然后训练基于这些meta structure的神经网络 得到规则表征的神经网络。因为人类常用的meta structure是可以穷举的比如时空拓扑 因果逻辑 因此这一类meta structure 的训练并不是无数个 而是有限的数量。由此可见如果我们构建这样一个网络它包含世界上最基本的meta structure就可以做到涵盖各类最基本的智能任务。我们把整个过程流程化可以看到它大致对应这样一个图但感知信息进入我们通过rcnntransformer等方法将连续的光场离算化 得到物体实体表征这是我们认知的第一个捷径丢掉了很多对生存不重要的信息在感知物体的高维向量里依然包含大量未知的特征信息。而根据这些信息 我们大脑里的元结构处理器可以对这些实体进行匹配重组构成新的更加类似于超图结构的模型每个元结构处理器就好像从自己的视角对世界上的信息进行加工 进行某种特定形式的结构化逻辑因果 这种结构化得到的模型是对世界进一步的低维度表示虽然它们丧失了大量感知信息但是在特定任务逻辑处理中且更加快速。结构化的过程仿佛是将之前的感知实体推入一个个认知网络的结构卡槽这样的思维和人工智能早期发起人Marvin Minsky的frame理论是非常相关的。有了这些任务模型 我们可以在其上进行非常灵活的控制根据不同的任务选择不同的结构实体来进行推理和控制并且在其间进行切换。因此NPS的框架提供了未来AGI一种非常基本的组成元件当然离真正的智能它还缺少很多其它的核心部分 比如人类的智能以目标展开 我们不停的把真实世界切割成不同的任务每个任务都有一个目标而目标之下我们会把它分解成很多子目标这种能力并非当下的NPS系统涵盖的。另一方面 NPS系统的感知部分也较为简单原始从中提取实体的过程没有体现高级认知的参与 事实上我们关注的是图片中的一个动物还是一棵树也是高度依赖于整个目标和认知过程的。因此 未来的AGI构建之路依然任重道远。另一个关键问题是即使是NPS这样的结构也依然是在各种小型研究问题得到体现它是否能够用来撸真实世界的规则和因果还是一个亟待研究的问题。愿意探讨一套AGI系统的最小实现框架的同学请加铁哥微信TieXu0609还有珍贵的头部AI公司实习机会。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
