提供网站建设服务的网站,网站建站行业,wordpress插件直播,深圳网站设计 公司价格本文转自公众号#xff1a;脑机接口社区大家好 #xff0c;我是米格尔尼科莱利斯#xff0c;美国杜克大学神经生物学、神经学和生物医学工程教授。今天我将为大家介绍脑机接口和这一技术从基础科学到应用于神经康复的研究历程。首先#xff0c;我要感谢2020腾讯科学WE大会的… 本文转自公众号脑机接口社区大家好 我是米格尔·尼科莱利斯美国杜克大学神经生物学、神经学和生物医学工程教授。今天我将为大家介绍脑机接口和这一技术从基础科学到应用于神经康复的研究历程。首先我要感谢2020腾讯科学WE大会的盛情邀请我很高兴也很荣幸能参加此次大会感谢腾讯的邀请。正如我刚才说的今天我要讲一讲过去20多年脑机接口技术的发展。1998年 我和John Chapin开始着手研究一种新的技术我们称之为脑机接口。那什么是脑机接口呢大家现在看到的是我们最初发布的用来阐释这一想法的图解我们希望将活体动物或人类的大脑与设备直接连接。比如电子的、机械的甚至是虚拟的人造设备。它们无需放在连接对象的近旁我们可以把它们放在另一个房间另一个国家 甚至地球另一端。我和约翰的想法是实时采集实验对象准备移动身体时大脑发出的电信号但我们并不观察实验对象的身体活动而是记录相应的大脑活动。然后在不到1/3秒的时间里将其转化为能够发送至人造执行装置的数字指令。我刚才提到过 该装置可能就在连接对象旁边 也可能离他很远。连接对象直接通过大脑控制装置 无需身体参与。这个装置将包含运动想象的脑电信号转化为能够控制人工装置的电子指令整个过程必须在300毫秒以内完成因为这正是从运动想象产生到身体执行的时间。接下来我要给大家展示脑机接口概念是如何进化的我们最初的实验是在猴子身上进行的之后逐步实现了人类实验。这就是第一个实验一只恒河猴学会了如何控制这个最初版本的脑机接口该设备能控制显示屏上电脑光标的移动让这只猴子和我们一样玩电子游戏。这个游戏的规则是让光标穿过显示屏上随机出现的一个球体由猴子通过操纵杆来完成。每一次光标成功穿过目标猴子就能得到一滴喜爱的橙汁作为奖励。但它不知道的是每次正确完成操作我们就会记录下它大脑中100个神经元的活然后把这些脑电信号发送给一组计算机。由它们来提取其中的运动指令 将其嵌入、然后转化为机械手臂可以理解的电子指令。为什么要这样设计我们的想法是当猴子能够非常熟练地通过操纵杆玩游戏的时候我们就拿走操纵杆打开脑机接口观察猴子能否让机械手臂控制光标穿过目标。而且仅靠想象来完成这一过程 不涉及任何身体动作。正如大家所见猴子做到了。这就是实验的上半部分我们将大脑从身体的束缚中解放出来使之能够直接与外部世界互动。猴子一开始用操纵杆玩游戏这个操纵杆惯性非常低 精准度很高能够准确地将光标移入目标中。每一次操作完成猴子都会得到一滴它喜欢的橙汁。猴子对游戏越来越熟练每天玩一个小时 准确率能达到99%以上。于是我们意识到是时候首次测试一下通过脑机接口进行实时操作这个想法了。于是我们拿走了操纵杆让猴子自然地坐在椅子上。我们问自己猴子能不能弄明白 它只需要动脑想象就可以让机械手臂控制光标然后和之前一样得到果汁呢来看它的操作它做到了。猴子的身体没动手臂也没动只是想象着把光标移到目标内。与此同时我们的电脑记录下猴子大脑发出的电信号提取其中能够控制真实手臂活动的运动指令转变其路径使之控制机械手臂来完成游戏。正如大家所见逐渐地猴子能越来越熟练地用大脑控制机械手臂完成游戏无需任何身体动作。这只是脑机接口发展之初的情况在过去20多年里我们制造出了很多不同种类的脑机接口。比如同时控制两只机械手臂的还有控制腿部的但接下来我要说的是其中最复杂的一种我们称之为“脑-机-脑接口”。下面给大家展示的都是由大脑直接与虚拟设备互动完成的。这里不涉及任何机械设备有的只是一个猴子已经将其认作自己身体一部分的虚拟设备我们把这个实验称为触觉识别。猴子需要做的是想象如何将虚拟手臂移至屏幕显示的物体上。这些物体都具有无法通过视觉识别的虚拟质感猴子需要识别出这些质感才能得到橙汁。它需要选出触觉振动频率最高的物体也就是摸起来类似于砂纸一类的粗糙物体但不能用自己的手而是要通过想象来控制一只虚拟手臂完成。随着虚拟手臂在物体表面划过和虚拟质感相对应的电信号回传到猴子大脑中一个叫做触觉皮层的区域。该区域的作用是处理触觉信息使我们能够识别出所触摸的物体。接下来大家会看到猴子能够通过脑机接口移动虚拟手臂然后通过另一轮控制使这一过程形成封闭回路把触觉信息从虚拟世界中传回大脑。然后做出选择选出两个物体中触觉振动频率较高的那个。来看一下大家听到的是脑细胞的声音。观察一下这两个触觉振动频率不同的物体你会发现 声音的大小和振动频率的高低是相对应的。猴子控制着一个虚拟手指触摸这两个物体 然后做出选择以获得果汁。手指划过物体猴子看到的就只是这样的图像但它需要选择哪个触感振动频率更高 也就是这个。所以它会把手指停留在那个物体上这样就能得到一滴橙汁。注意每个任务中两个物体的频率比是不同的所以难度相当高但是猴子做到了就像用自己的手指完成的一样好。观察到这一点后我们意识到距离在人类身上运用这一技术已经不远了但我们还需要再做一个决定性的实验。我们需要证明动物能够学会使用搭载了无线传输技术的脑机接口来控制一辆自动驾驶设备载着某一对象从房间里的某一随机位置出发到达目标位置。取走我们放在那里的比如说葡萄而整个的过程全部通过思考完成。想象一下这不是腿或者胳膊 这是一个电动轮椅是电力驱动的移动设备和猴子自己的身体毫无关系。所以在这个任务里 猴子需要做的不仅仅是思考如何移动还要学会和自己以前从未见过的电动机械互动。在接下来这个视频里我们首先会看到安装在实验室天花板上的摄像头拍摄的画面显示猴子如何控制电动轮椅在我们事先设定好的不同位置间穿梭。他会从某一个白色圆圈处出发通过想象控制轮椅移动到目标地点拿到葡萄。一开始 从上面看猴子用大脑控制自动驾驶设备的移动。然后我们把猴子放到一个新的地点它又设计了一个新路径 仍然能准确地到达目标位置取走葡萄。现在我们来看一下正面拍摄的影像大家看到的就是美式全自动午餐有了脑机接口你就能获得这样的午餐。你什么都不用做只需要到达领餐处然后开吃就可以了。当然你需要思考如何到达那里。剩下的就由我们或者说由计算机来替你完成。有了这样的发现后我们意识到它的意义要远远超过我38年来一直在寻找的新的大脑研究方法。我们或许可以把这一发现转化成新的治疗手段来帮助全世界2500万因为严重的脊柱损伤而在痛苦中挣扎的人们。大家可能都知道这样的损伤一旦发生病人就会丧失感觉和活动能力。受伤部位以下的身体无法动弹因为大脑发出的包含着运动指令的电信号无法再通过脊柱中的神经传输至身体的边缘部位。那要如何处理这些无法在体内传输的脑电信号呢我们的方法是使用脑机接口从大脑中采集这种不断产生的信号但并不指望脊柱来发挥其原本的传输作用而是绕过这一环节。我们制造出一种计算机电子旁路将采集到的脑电信号绕过损伤部位以数字形式传输至一个可穿戴式的全新机械身体中病人可以通过大脑控制该机械身体 使其移动到某一位置。这个想法我和John Chapin 2002年就提出了当时我们认为2012年底前能够实现。几年之后巴西再次获得久违的举办足球世界杯的机会。2012年FIFA宣布由巴西主办2014年世界杯足球赛当时我就意识到我们可以在开幕式上做些新的尝试 而不只是来一场足球比赛。我们可以首次在这种大型体育赛事中加入科技展示所以我向当时的巴西总统做出了提议。世界杯的开幕式会有65000人到现场参加超过10亿观众收看转播。我们可以做一次脑机接口技术演示让一名瘫痪的巴西年轻人在首个脑控下肢机械外骨骼的帮助下为世界杯开球。出乎意料的是总统答应了然后我们就开始着手准备。为此我联系了世界各地的朋友。大约来自5个大洲、25个国家的156人把手头的事情暂时搁置10个月带着他们的学生 、专利和技术来到巴西帮助我们制作第一个脑控下肢机械外骨骼。我们还招募了8个脊柱损伤病人他们都是从一个包含了65000名病人的巴西数据库里选出来的。这8个人都是完全性脊髓损伤患者有的瘫痪已经超过10年大家可以看到这里的数据13年、11年的都有他们受伤部位以下的身体都无法动弹。我们设计了一个非常严苛的训练计划让他们在世界杯之前的半年时间里每周训练两天 每天一小时。训练首先在虚拟环境中进行他们需要学习使用一种非侵入式的脑机接口设备。无需手术无需植入电极我们仅仅使用能够贴在头皮表面的扁平传感器用来记录脑电信号。病人通过观察自己的虚拟替身进行训练该替身是一个看起来和他们相似的虚拟足球运动员会在足球场上走动和踢球。病人们一边观察一边学习用自己的大脑控制它的活动。每一次虚拟人物的脚接触地面病人的手臂都会收到触觉反馈从而再次感受到在地面行走的感觉。当病人们能够熟练地在虚拟环境中进行操作后我们开始让他们使用一系列世面有售的用于脊柱损伤病人恢复的机械助行器最后再为他们装上我们设计的外骨骼。就是我刚刚提到的那个它是这个样子的。这是一个有着12自由度的机电外骨骼这是病人所在的操作舱这里还有一张病人训练的图片。另一个图片显示的是装有扁平传感器的头盔可以贴紧头皮来记录包含着运动指令的大脑活动。当病人想要行走或踢足球时就会产生这些活动这些就是我们使用的用来驱动和控制下肢外骨骼关节活动的电子和机械设备。有意思的是我们使用的电机能够将控制信号传送给液压管线由此产生模拟度更高的和人类更为相似的动作优于一般机器人的数字和电子动作。因为病人们希望自己看上去更像普通人走路的样子也更自然。这是该技术的另一个主要创新应用发明人是慕尼黑工业大学的Gordon Cheng。这是一种安装于腿部外骨骼足底的印刷电路板带有感知压力、距离和温度的传感器。我们希望外骨骼脚部每一次接触地面时都能向病人的前臂发送触觉反馈信号。这样病人就能体会到到踩在地面的感觉感受地面的触感 、硬度踩在什么样的地面上能走多远甚至能接收到温度反馈。大家现在看到的是这个病人第一次尝试站立行走在世界杯之前8名病人都在我们的实验室里成功实现了站立行走因为他们都学会了熟练控制外骨骼。这是一位高位胸椎损伤病人大家看到他的头盔在发光表明他正在通过大脑活动控制轮轴。指令正确他的两条腿正交替运动他可以通过面前的大镜子看到自己站起来走路的样子。同时他的前臂能够感受到我刚刚提到的那些足底传感器传来的触觉反馈这是病人瘫痪6年来第一次站起来走路。他之前是个游泳运动员后来因为一场车祸造成胸部以下瘫痪从他的表情就能看出6年以后重新走路是什么感觉。这样的场景我见证了8次可以说那是我38年科学生涯中的高光时刻。因为我从没想过可以走到这一步但我们做到了。这是Juliano Pinto是在世界杯开幕式上开球的运动员脊柱T4以下身体瘫痪已经9年也是因为车祸。这是我们上场之前在足球场入场的地方这就是位于圣保罗的开幕式场地。现在大家看到的是正式开球前Julian的最后一次试踢大家看到我鼠标这里的蓝灯正在闪代表着外骨骼处于启动状态。Julian把双臂放在外骨骼的扶手处那里安装的传感器在感受到来自手臂的压力后就会启动外骨骼。之后Julian只需要摆好身体姿势想象踢球的动作。戴着蓝色帽子的是我的学生 他把球放在Julian面前然后Julian就把球踢了出去。2014年6月12号下午3点半整正式开球时也是这样的流程有一件事Julian事先不知道我们给他准备了一个小惊喜启动了一个安装在这个位置的传感器。巴西的孩子们可能在还没出生的时候就会用足尖大力触球在球场上没有其他办法时足尖大力射门是最后的进球手段。所以我们在这里安装了一个传感器但事先没有告诉他。Julian把球踢出去之后开始欢呼我们冲上去拥抱他大家的情绪都非常激动整个球场都因为这个开球而沸腾了。Julian当时喊得并不是我踢出去了我做到了或者我射门成功了。他喊的是我感觉到球了我碰到球了。因为他的大脑在经过训练以后已经能够识别所有外骨骼上的传感器传输的信号因此可以体验到真正的踢球的感觉。这是10年来的第一次对于10年中一直坐在轮椅上的人来说 这是不同寻常的经历。我们原以为事情到这里就结束了但事实证明并不是。几个月以后我们把Julian和其他7名病人重新带回实验室进行了神经测试。之前我提到过 Julian脊柱T4以下瘫痪已经10年这是他的脊柱损伤等级。但我们进行了神经测试后他当天的等级评定是脊柱T11以下瘫痪。也就是说 经过10个月的训练他的7节脊椎恢复了感知 、活动和运动控制方面的功能。之前他只能控制这个部位以上的肌肉只有头部以下和胸椎中部以上的部位有知觉。10个月的训练结束以后他的身体知觉恢复到了髋关节的位置而且他也能控制这部分身体的肌肉收缩他恢复了7节脊椎的功能。接下来给大家介绍的这位女性病人。她的触觉 、内脏感觉 和运动控制功能也得到了大幅恢复。平均来看从启动训练开始 我们对这些病人进行了28个月的观察。在此期间 他们平均恢复了10节脊椎功能。这涵盖了身体的一大块区域他们恢复了这部分身体的感知能力和内脏控制能力处于这一区域的内脏有膀胱、小肠、 胃等等。其中有一位病人怀孕了她终于能感觉到孩子在肚子里踢她。她经历了9个月的正常孕期能感受到胎动和子宫收缩。最后生下一个男孩她能感受到整个妊娠期的身体变化要归功于身体知觉的大幅恢复。但最让人吃惊的结果在这里这是我刚才讲到触觉恢复的时候第一个提到的病人 。她之前瘫痪11年大家看看她在视频里的情况。这是她以前无法做到的这是接受训练22个月以后她在我们的要求下尝试走路的情况。这是她的表现她在我们面前走起路来。大家看到的这些线作用是记录她现在已经可以自主控制的肌肉活动。能做出这样的动作表明她已经可以交替活动双腿了。在这之前和之后的一天她都做了一小时这样的训练。所以这些病人现在可以脱离外骨骼活动了我们也得以记录下他们在22个月的训练后神经系统的恢复情况从病情的临床分级角度看 这意味着什么呢这8个病人加入项目的时候都是完全瘫痪的在我们的专业领域里这意味着开始训练前他们还没有恢复任何受损脊柱部位以下的身体功能。但28个月之后其中有一位病人12个月以后就终止了训练。另外7个人坚持了下来并且身体功能得到了专业人士之前无法想象的恢复。病情分级也变为了部分瘫痪因为他们恢复了很大一部分运动能力和触觉。大家看到的这篇论文是我们2016年发表的过去几百年以来的专业文献里这是第一篇记录了最高等级的脊柱损伤造成完全瘫痪10年后病人恢复部分身体功能的论文。这些病人后来怎么样了呢其中的3人坚持下来继续接受我们的训练。并且增加了训练的天数和小时数他们的身体得到了更进一步的恢复不再需要依靠机械外骨骼行走只需要一个小型助力车为身体提供一些支撑。根据病人情况助力车可以支撑50%到70%的身体重量。另外还需要些一些电流辅助我们会将微弱电流传送至病人腿部的关键肌肉 使之能够承受运动中自身产生的自主收缩。也就是说3个病人获得了一定的自主运动能力。这在以前是无法想象的没有人想过这会成为现实。在我们的重拾行走计划开始之前这并不是我们的目标。如果我当初把它作为目标写进资金申请书或者论文里大家恐怕会笑话我。因为谁也没想到这些病人能够走到今天这一步我们当时唯一的目标就是制造外骨骼帮助病人活动。但最终完全出乎意料地病人恢复了一定的自主活动能力。这样的结果病人自己也从没想过。这就说明有时候基础科学能引领你到达你从未想象过的地方为你带来意料之外的发现 。为了这一天我等了38年。因为亲眼见证了这一切我的每一秒付出都是值得的。感谢大家未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
