好的平面网站模板,wordpress充值卡生成,滴滴优惠券网站怎么做的,改图在线处理图片来源#xff1a;ScienceAI编辑#xff1a;凯霞准确指出神经活动如何随着学习而变化#xff0c;不是黑白分明的。有人认为大脑中的学习或生物学习可以从优化的角度来考虑#xff0c;这就是在计算机或机器人等人工网络中学习的方式。由卡内基梅隆大学和匹兹堡大学的研究人员共… 来源ScienceAI编辑凯霞准确指出神经活动如何随着学习而变化不是黑白分明的。有人认为大脑中的学习或生物学习可以从优化的角度来考虑这就是在计算机或机器人等人工网络中学习的方式。由卡内基梅隆大学和匹兹堡大学的研究人员共同撰写的一篇新前瞻性评述Perspective文章将机器学习与生物学习联系起来表明这两种方法不可互换但可以用它们来为大脑如何工作提供有价值的见解。该文章以「How learning unfolds in the brain: toward an optimization view」为题发表在《Neuron》期刊上。大脑的变化如何导致学习要回答这个问题请考虑人工神经网络 (ANN)通过优化给定的目标或成本函数来进行学习。这种优化框架可能会提供有关大脑如何学习的新见解因为神经活动的许多特殊特征可以通过经过训练以执行相同任务的 ANN 来概括。然而在整个学习过程中神经群体活动如何变化的关键特征无法用优化来解释也不是 ANN 的典型特征。在这里详细介绍了其中的三个特征1整个学习过程中神经可变性的不灵活性2即使在简单任务中也使用多个学习过程3存在与任务无关的大型活动变化。科学家认为理解这些特征在大脑中的作用将是使用优化框架描述生物学习的关键。优化框架下的人工和生物网络学习。神经可变性塑造学习但通常不灵活大脑可以控制行为和神经变异吗众所周知行为是多变的。但是行为可变性实际上可能对学习至关重要而不是成为嘈杂神经系统的意外后果使我们能够充分探索奖励景观并适应不断变化的环境。可以通过强化学习 (RL) 的视角来了解学习过程中行为可变性的潜在好处。各种研究表明大脑调节行为可变性以促进学习。大脑可以在多大程度上控制学习过程中的神经变异当然如果行为层面存在可变性那么它也将存在于驱动该行为的大脑区域中。但令人惊讶的是神经群体活动中存在的大量可变性似乎在学习过程中并未发生改变。多条证据表明即使在限制性能的情况下在数天或数周的实践过程中群体协变的结构仍然有些不灵活。正如将在下面解释的那样这种不灵活是学习环境中的一个重要考虑因素。对神经变异性的限制限制了性能脑机接口BCI学习研究提供了一组证据表明总体协变结构可能是不灵活的。猴子通过调节初级运动皮层中记录的 90 个神经元的尖峰活动将计算机光标引导到八个视觉目标之一。神经活动与光标速度之间的关系由 BCI 映射定义。当引入新的 BCI 映射时受试者必须学会修改他们的神经活动以提高性能即将光标引导到目标。感知学习的研究提供了另一条证据即总体协变结构可能有些不灵活即使它干扰了任务绩效。这与种群协变的存在有关该协变干扰了从神经活动中解码信息的能力即所谓的信息限制相关性。虽然信息限制相关性的大小可以通过学习来降低但这些相关性即使在过度训练的任务中仍然存在。神经变异的结构会影响学习的路径即使神经协变的结构在很大程度上是固定的它仍然可能是学习过程中神经群体活动如何随时间演变的关键组成部分。为了解释为什么会这样请考虑大脑必须使用来自任务的反馈来估计方向或梯度在该方向或梯度中它应该修改其活动以提高未来的表现。在 ANN 中可以使用微积分中的链式法则在称为反向传播的算法中计算此梯度。然而对于大脑而言反向传播在生物学上可能不可信的原因有很多。研究表明了解学习过程如何解释神经协变能力的结构可能有助于了解观察到的学习路径。神经群体协变影响学习路径。生物网络和人工网络之间网络变异性的差异大脑中的神经变异性通常与人工神经网络中的神经变异性大不相同。首先如前所述学习过程不一定会减弱或重构总体协变性即使这样做会提高任务绩效。其次考虑在具有相同预期运动的试验中存在大量人口协变如 BCI 学习任务中所示。如果人工神经网络要作为大脑在学习过程中如何变化的模型我们可能需要考虑能够捕捉上述人口协变特性的人工网络类别例如基于随机速率的人工神经网络。学习过程中大脑神经可变性的不灵活性与可变性在强化学习 (RL) 方法中的典型作用形成对比。RL 代理通过有效探索其环境来发现最佳行为策略其中探索表现为行为可变性。然而学习期间人工代理网络活动的可变性可能与在大脑中观察到的可变性不同。了解学习如何与大量神经可变性同时进行可能会为 RL 智能体的开发提供信息。多个神经学习过程始终在发挥作用大脑中的学习涉及多个学习过程即使是在简单的任务中理解大脑学习的一个主要障碍是确定所观察到的神经和行为变化背后的学习目标。相比之下在人工网络中这不是问题因为建模者决定如何使用任务的反馈来驱动学习。对于 ANN建模者可以选择 ANN 在训练过程中尝试优化的目标函数。确定潜在学习目标的问题很复杂因为即使在简单的任务中学习过程中的行为变化似乎也反映了多个学习过程。科学家将学习过程定义为具有自己的目标函数、学习规则/神经电路实例化的优化过程。由于行为是多方面的因此可以优化行为的多个方面以实现给定的任务目标。各种研究表明即使是将手伸向物体的简单任务行为变化似乎也受到各种不同学习过程的驱动。解开神经群体活动中多重学习过程的存在正如上面所讨论的即使是一个简单的任务比如伸手去拿一个物体也可能涉及多个学习过程。尽管从大脑的角度来看这可能是有益的但它对寻求识别这些学习过程的神经基础的神经科学家提出了挑战。多种学习过程可能起源于不同的大脑区域但多个学习过程的特征也可以在同一组神经元中共存。当这种情况发生时作为神经科学家如何将它们分开区分大脑中不同学习过程影响的主要方法之一是确定行为或神经变化的不同时间尺度。另一种是使用 BCI 范式的长期学习研究发现经过数周的练习受试者通过培养产生新的种群活动模式的能力。BCI 学习过程中的快慢学习过程。识别大脑关于学习的先验假设的重要性生物体和人工体学习之间的主要区别之一是对于生物而言环境和奖励突发事件不断变化。为了处理在这样一个动态环境中学习的复杂性大脑已经准备好了各种与生态相关的归纳偏差而不是一堆优化工具的空白。因此理解大脑中的学习可能不仅涉及对任务所涉及的众多学习过程的描述还涉及大脑归纳偏差的表征。总体而言研究表明在解释学习期间人口活动的变化时大脑的归纳偏差可能与任务目标本身一样重要。并非所有学习过程中神经活动的变化都是由任务绩效驱动的人口活动的非特定任务变化可以与学习过程相互作用在学习过程中神经活动会发生变化以改善行为。理解这一过程的一种常见方法是表征神经活动在学习经历期间或之后在哪些方面发生变化或不发生变化。这种方法可以提供关于大脑不同部分如何有助于提高任务绩效的线索。但并非学习过程中神经活动的所有变化都可以直接根据任务目标来解释。越来越多的研究观察到学习过程中神经活动的变化并不总是由性能考虑驱动。我们将这些似乎与手头任务的细节无关的变化称为与任务无关的变化。在操作上我们认为人口活动的变化是任务非特定的如果它们在有或没有任何学习压力的情况下发生或者如果它们在使性能变差的情况下发生。存在任务非特异性变化时大脑中的逆向工程学习我们怀疑在尝试对大脑学习过程进行逆向工程时考虑到任务非特异性的神经活动变化将被证明是一个关键因素。特别是对于确定大脑学习目标的挑战可能需要考虑人口活动中与任务无关的变化。学习过程中神经群体活动的特定任务和非任务特定变化。总的来说对学习过程中神经活动如何变化的完整描述可能需要考虑大脑在学习的同时管理的各种任务非特定过程的影响。鉴于许多任务非特定过程通常不受实验控制这可能是一个挑战导致这些过程对种群活动具有可变和潜在的影响。解决此问题的一种潜在方法涉及利用自然行为。任务非特定活动的潜在好处学习期间大脑中任务非特定的变化可以与 ANN 中的网络活动形成对比其中任务非特定的变化通常很小或不存在。为什么大脑会表现出如此大的非特定任务变化回答这个问题可能会帮助我们建立更好的生物学习模型同时也会激发人工学习的新方法。在执行任何给定任务时大脑还必须管理一系列与任务执行没有直接关系的过程例如唤醒、注意力和记忆。这些过程可能有自己的目标虽然与它们所支持的任何过程相关但与执行任务本身无关因此会推动种群活动中与任务无关的变化。大脑中任务非特定变化的另一个潜在好处是它们可以通过使学习者对网络活动的大方差变化不敏感或提供一种逃避局部最优或鞍点的方法来鼓励稳健性。总体而言了解任务非特定活动在大脑中的作用可能会启发开发灵活、强大的人工代理的方法。挑战和未来方向了解神经人群活动的突触可塑性一般认为大脑中的学习是由神经元之间突触强度的变化所控制的。类似地ANN 经过培训通过对人工神经元之间的突触强度进行修改来进行新任务。在这里科学家扩展了这个观点以考虑在神经人群活动的变化方面进行学习。在可塑性与神经人口活动方面研究学习的不同观点提高了未来研究的几个潜在问题。首先如何通过可塑性学习给定的任务是什么其次只使用神经人群活动的记录可以理解哪些学习的方面第三能否在学习过程中利用对神经种群活动的研究来指导寻找新的可塑性规则理解不完整或次优的学习可能受益于数学优化和机器学习思想对于生物学习一个令人费解的方面是为什么生物学习通常是不完整的问题。如果大脑中的学习是通过优化过程发生的我们如何理解这些失败模式在前面提到了两种可能性大脑的归纳偏差和任务需求之间的不匹配以及神经活动中存在任务非特异性变化。其他可能的解释可能来自机器学习其中已经广泛研究了不完整或失败学习的原因。使用人工神经网络作为理解大脑的人工模型生物使用人工神经网络作为人工模型生物artificial model organisms可能是理解大脑如何通过优化学习的关键工具。在这里概述了人们可能采取的不同方法。首先人工神经网络可以作为开发新方法的测试平台这些方法从神经活动的记录中推断出优化框架的组成部分。其次人工神经网络可以阐明优化框架的组件如何相互作用。最后人工神经网络可以帮助我们建立学习如何在动物一生中进行的模型。结论为了学习大脑必须发现导致行为改善的神经活动的变化。我们如何开始理解大脑中驱动这些变化的复杂过程学习优化框架表明学习过程中神经活动的变化可以理解为目标函数、学习规则和网络架构的自然结果。正如我们在此提出的将优化框架应用于生物网络需要我们关注大脑中的神经活动与典型人工网络中的网络活动不同的关键方式。特别是我们提出了关于从神经群体活动研究中学习的三个关键观察结果认为需要通过大脑学习模型来解释这些观察结果1整个学习过程中神经变异性的不灵活性2使用即使在简单的任务中也有多个学习过程以及3存在与任务无关的大型活动变化。在考虑神经群体活动时这些挑战很明显但从突触权重变化或单单元调谐特性的有利位置很难检测到。优化框架是理解大脑学习的一个有希望的起点。但正如我们所见即使在相对简单的任务中学习过程中神经群体活动的变化也并不总是很容易解释为优化过程。在理解更复杂、更自然的任务是如何学习的背景下这种困难可能更加突出。展望未来将人口活动特征纳入大脑学习的新计算模型和新的实验设计可能对大脑学习过程进行逆向工程的下一步有用。论文链接https://doi.org/10.1016/j.neuron.2021.09.005参考内容https://medicalxpress.com/news/2021-10-brain-machines.html未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
