网站界面设计缺点,工商做年报网站,中山免费企业网站建设,小白怎么做淘宝客网站大数据文摘出品编译#xff1a;臻臻、Shan LIU、龙牧雪大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了#xff0c;街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘#xff0c;讨厌遗忘。然而#xff0c;生而为人#… 大数据文摘出品编译臻臻、Shan LIU、龙牧雪大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘讨厌遗忘。然而生而为人健忘其实是种关键能力。对于人类而言遗忘绝不仅仅是“想不起来”而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。现在数据科学家们正在尝试应用神经科学原理来改进机器学习并且坚信人类大脑能够解锁图灵完备的人工智能。人脑为什么需要遗忘我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据筛选有用的信息然后清理任何不相关的细节用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间类似在计算机上运行磁盘清理。用神经生物学的术语来说遗忘发生于神经元之间的突触连接减弱或者消失之时同时随着新神经元的发育他们又会重新连接海马回路覆盖现有记忆。对于人类来说遗忘有两个好处通过减少过时信息对我们决策的影响来增强灵活性防止过度拟合过去的特定事件和促进概括能力为了有效地适应环境人类需要有策略性遗忘的能力。计算机也需要遗忘计算机的遗忘与人类的不同这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功但它们的遗忘方式也与我们不一样。举一个简单的例子如果你教一个讲英语的孩子学习西班牙语这个孩子会在学习过程中应用英语学习的技巧比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分比如口音、嘟囔、语调等。如此这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。相比之下如果你已经训练了一个神经网络去学习英语那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语它就会生成新的适应系统并覆盖以前为学习英语所获得的知识删除所有内容并重新开始。这被称作“灾难性遗忘”并被认为是“神经网络的一个根本局限”。虽然这还是一个新领域最近科学家们已经在探索克服这种限制的潜在理论并取得了长足的进步。3个方法教AI学会遗忘长短期记忆网络LSTMLSTM是一种循环神经网络它使用特定的学习机制来决定在任意一个节点哪些信息需要记住哪些需要更新哪些需要关注。LSTM工作机制如何一个简单的解释是拿电影来做类比假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀计算机会猜测她是一个厨师还是凶手呢另一个场景中一个女人和一个男人在金色拱门下吃寿司计算机会猜他们是在日本还是麦当劳呢或者其实他们是在圣路易斯大拱门是美国圣路易斯的标志性建筑LSTM通过以下3步提升神经网络遗忘/记忆“当场景结束模型应该忘记当前场景的位置所处时间并重置任何特定场景的信息然而如果场景中的一个角色死亡了机器则应该继续记住他不再活着的事实。因此我们希望机器能学习掌握一个相互独立的遗忘/记忆机制这样当新信息进来时它知道什么观念该保留什么该丢弃。”——Edwin Chen保存当模型看到一张新图像它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢划重点我们可能需要记住电影中的这个女人是个母亲这一信息点因为我们稍后会看见她的孩子们但是这个信息在她不出现的场景里可能并不重要所以在那些场景里我们不需要重点关注。同样并非所有存储在神经网络的长期记忆中的内容都是立即相关的所以LSTM所做的就是在安全保存所有信息备用的同时帮助决定哪一部分在哪一时刻被重点关注。弹性权重固化EWCEWC是由谷歌旗下DeepMind的研究人员于2017年3月创建的一种算法旨在模拟一种被称为突触整合的神经科学过程。在突触整合过程中我们的大脑评估一项任务计算许多用于执行任务的神经元的重要性同时权衡哪些神经元对正确执行任务更为重要。这些关键的神经元被编译为重要的并且在随后的任务中相对不可能被覆盖。同样在神经网络中多个连接如神经元被用于执行任务。EWC将一些连接编译为至关重要的从而保护他们不被覆盖/遗忘。在下面的图表中你可以看到研究人员将EWC应用于Atari游戏时发生了什么。蓝线表示标准的深度学习过程红线及棕线则由EWC提供以显示改进后的结果瓶颈理论瓶颈理论由耶路撒冷希伯来大学的计算机科学家和神经科学家Naftali Tishby在2017年秋提出。这个构想是网络摆脱了嘈杂的无关细节的输入数据就好比用瓶颈将信息挤压只保留与基本概念最相关的特征。Tishby解释说神经网络经历了两个阶段的学习——拟合与压缩。在拟合过程中网络标记其训练数据而在更漫长的压缩过程中它“丢弃关于数据的信息只跟踪最强大的特征”也即是那些最能帮助它泛化的特征。通过这种方式压缩成为策略性遗忘的一种方式掌控这一瓶颈也可能成为AI研究人员用于构建未来更强大神经网络的新目标和体系的一个工具。正如Tishby所说“遗忘才是学习过程中最重要的一部分。”人类大脑和遗忘的过程中有可能藏着通往强AI的密码。但科学家们仍在上下求索。相关报道https://hackernoon.com/machine-un-learning-why-forgetting-might-be-the-key-to-ai-406445177a80未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
