网站建设及规划,做企业官网用什么语言,wordpress在手机版,深圳福田区住房和建设局官方网站来源#xff1a;深度学习这小事按照之前的常识#xff0c;结合了算法和符号推理技术的神经符号模型#xff08;Neurosymbolic Models#xff09;#xff0c;会比神经网络更适合于预测和解释任务#xff0c;此外#xff0c;神经符号模型在反事实方面表现更好。而Neural-S… 来源深度学习这小事按照之前的常识结合了算法和符号推理技术的神经符号模型Neurosymbolic Models会比神经网络更适合于预测和解释任务此外神经符号模型在反事实方面表现更好。 而Neural-Symbolic本质上其实是将现代数学中的分析学和代数学结合的产物。 分析学擅长处理数值、函数、逼近等问题, 代数学擅长处理推演、抽象、结构等问题如果能适当将两者结合会有很可观的效果。然而近日DeepMind的研究人员声称在正确的测试条件下神经网络的性能会优于神经符号模型。 与之前的研究结论相反研究人员认为对于可以衡量高级认知功能并基于视觉的任务来说基于分布式表示的神经网络模型确实表现良好并已经明显胜过了现有的神经符号模型。在论文中作者描述了一种关于视频的时空推理的体系结构此结构可以学习到视频中的所有成分并且所有中间的表示都贯穿分布在整个神经网络层中。 论文地址https://arxiv.org/pdf/2012.08508.pdf 该团队表示该体系结构在一个流行的数据集上的所有任务的表现都超过了神经符号模型并在反事实问题上优势最明显。这一研究成果可能会非常有助于设计和开发具有推断作用的机器。 该文章提出的神经网络架构主要利用注意力机制来实现对集成信息的高效提取。有人可能要问了什么是注意力机制呢 注意力attention其实是一个非常常见但是又会被忽略的事实。比如天空一只鸟飞过去的时候往往你的注意力会追随着鸟儿天空在你的视觉系统中自然成为了一个背景background信息。 计算机视觉中的注意力机制attention的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。 总的来说注意力机制就是一种一次只专注于一个元素或几个元素的算法机制。 对于DeepMind这一研究来说整个训练过程都是自我监督的这意味着该模型必须使用底层的动态机制来推断视频中被掩盖的对象以便提取更多信息。 而且该架构可以确保视频中的视觉元素与物理对象相对应论文作者认为这一步骤对于更高层次的推理至关重要。 在实验部分研究人员将他们的神经网络与视频表示和推理的CoLlision事件也就是CLEVRER数据集进行了基准比较。 其中CLEVRER数据集包含由机器生成的20,000多个5秒钟的物体碰撞视频这几种物体是三种形状拥有八种颜色的两种材料以及300,000多个问题和答案。这些问答都聚焦于逻辑推理的四个要素描述性例如“什么颜色” 说明性“造成的原因”预测性“接下来会发生什么”和反事实“如果某种情况出现会发生什么”。在这里小编附上CLEVRER资源链接 论文链接https://arxiv.org/abs/1910.01442项目链接http://clevrer.csail.mit.edu/ 实验结果表明在没有预先训练没有标记数据且训练数据少40的情况下他们的神经网络和最佳神经符号模型性能相当这无疑挑战了神经网络比神经符号模型更需要数据这一观点。此外它在最困难的反事实问题上的得分为59.8这一得分比机会模型和所有其他模型都好。 同时此模型还可以可以推广到其他任务包括CATER旨在预测目标对象在视频最后一帧中的位置的对象跟踪视频数据集。研究人员在论文中写道“我们的研究结果证明了在得益于分布式表示的灵活性和表现力的同时深层网络可以复制人类认知和推理的许多特性。” “神经模型在数学上也取得了一些成功从直觉上讲该领域需要执行严格的规则需要操纵各种各样的复杂符号。但是令人惊讶的是大型神经语言模型其实并不需要需进行目标任务的明确训练也可获得算术推理和类推的能力。 这表明在扩展到更多数据并使用更大更高效的体系结构时当前的神经网络局限性得到了改善。”未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
