论坛风格切换切换到宽版
  • 2016阅读
  • 2回复

Brain-to-brain communication has arrived. How we did it大脑和大脑交流 [复制链接]

上一主题 下一主题
 

只看楼主 倒序阅读 使用道具 楼主  发表于: 2022-08-10


Jack Qiu, Translator
Owen Chen, Reviewer

00:00
2014年6月12日 下午3:33分那一刻 在巴西圣保罗的一个 温暖的冬日下午 一个寻常的南美冬日午后 这个孩子 你们看到正在庆祝的年轻人 就像他进了球一样 Juliano Pinto,29岁 完成了一个壮举 尽管全身瘫痪 并且从胸中部到脚趾头没有任何知觉 六年前夺去他弟弟生命的车祸 同时导致Juliano脊髓完全损伤 让他坐在了轮椅上 Juliano面对挑战 而在这一天,他做了一件 几乎在六年内见过他的人认为不可能的事 Juliano Pinto通过他的想象 为2014年这里(巴西)举行的世界杯 进行开球 他无法移动他的身体 但他能够想像踢球所需要的动作 脊髓损伤前他是一名运动员 现在他是一名残疾运动员 我想他将会参加几年后的残奥会 但是脊髓损伤没有夺去的 是Juliano去梦想的能力 而在那个下午他梦想成真 在一个75000人的体育场 以及电视机前的亿万观众

01:42
他的一脚开球,基本上 赞许了30多年来 对脑部的基础研究 这个在我们两耳之间的神奇宇宙 这个唯一能与我们 头顶的宇宙相媲美的东西 因为我们的大脑约有千亿个元素 通过脑电风暴相互交流 Juliano所完成的 花了30年时间在实验室里想象 和大约15年的时间来策划

02:12
当John Chapin 和我 在15年前在一篇文章上提出 我们能够造一个我们称之为 脑机接口的机器 意思是能够把人脑连接到一个机器上 那么人和动物能够通过控制这个设备 无论他们和自己的身体相距多远 只要通过你的想象就能让身体做任何事情 我们的同事告诉我们 我们需要专业帮助 心理上的那种 尽管如此 一个苏格兰人和巴西人坚持了下来 因为我们就是这样在 各自国家成长起来的 而在12至15年间 我们做了一次又一次展示 证明这是可行的

02:56
而且脑机接口设备并非高深莫测 这只是脑部研究 只是运用传感器 来接收大脑发出的脑电风暴 去运行要下载到脊髓的 运动指令 我们预测感应器能够同时接收 成百上千的脑细胞 并且从这些信号中得到 大脑来运作的运动策划 去让我们在空间中移动 这么做我们转化了这些信号成为数字口令 能够让任何一种机械, 电子甚至虚拟设备接收 因此能让物体想象他, 她或它想做的动作 而那个设备遵循大脑的命令 通过把这些设备和许多感应器匹配 正如你将会看到的 我们能发信息回大脑去确认 潜意识运动系统将会被设定 无论感应器在哪 在物体旁边,在对面房间 或者是在另外一个星球 当这个信息给予反馈给大脑是 大脑接收它的目的: 让我们移动 那么这只是我们几年前发表的一个实验 一只猴子,无需动自己的身体 学会控制一个机械手臂 一个不存在的虚拟的手臂 你们听到的是这只猴子脑部的声音 在虚拟空间里边 探索三个视觉上相同的球体 奖励就是给猴子一滴它喜欢的橙汁 这只猴子需要通过触摸 来探测和选取其中一个物品 不是通过观察,而是通过触摸 因为每当虚拟手臂触摸一个物体时 一个电子脉冲就会传到猴子的脑部 给这个动物描述物体表面的质地 猴子就能够判断它需要选哪个物体 如果它找到正确的物体, 他将无需动一块肌肉而得到奖赏 完美的巴西式午餐 无需劳动而获得奖励

05:10
当我们发现这个之后 我们得出了15年前提出的观点 我们重新起草了文章 我们从箱子里找回这篇文章 并提出或许我们可以让一个瘫痪的人 运用脑机接口重新获得运动能力 大意就是如果你患有瘫痪 (瘫痪)它很有可能发生到任何人身上 我和你们说,世事无常 这是毫秒之差的一个事故 一次车祸就改变了你的一生 如果你的脊髓完全损伤 你无法运动因为你的脑电风暴无法 将信号发送到你的肌肉中 然而,你的脑电风暴不断在脑部产生 截瘫,全身瘫痪的患者 每天都梦到自己又能运动四肢 他们在脑子里有这样的感觉 问题就是我们怎么把它转码 变成动作

06:04
所以我们提出的是 建造一个新的肢体 创造一个机器背心 这就是为什么Juliano能够通过想象来踢球 因为他穿着第一件脑控机器背心 能够帮助截瘫,全身瘫痪的患者重新运动 并且重新得到运动反馈

06:23
这就是15年前的想法 我要给你们展示的是从25个国家 来自这个美丽星球的五大洲的156人 放下他们的生活 离开他们的父母 宠物、妻子、儿女、功课、工作 聚集到巴西度过18个月来完成这个项目 因为在几年后巴西成功申请举办世界杯 我们听说巴西政府想在开幕式上 做一些意义非凡的事情 在这个重塑并完善足球的国家 当然,那是在我们碰到德国人之前 (笑) 但那又是另一个话题了 这是另一类神经学家该讨论的问题 但巴西想要做的是展现 一个完全不一样的国家 一个重视科学和技术的国家 能够为全球2500万因为脊髓受伤 而无法行动的人一个礼物 我们向巴西政府和国际足联提出建议 让我们邀请一个巴西截瘫患者 使用一个大脑控制的骨骼康复机器人 让他能接触并感受到球 来为2014世界杯开球 他们像看到一群疯子一样地看着我们 然后说:“好吧,我们来试一下” 我们有18个月的时间从零开始 我们没有机器人,没有患者 我们什么都没有 这些人聚集在一起 并且在18个月的时间里 我们有8位患者进行日常训练 基本上是从零开始,这个家伙 我们称它为Bra-Santos Dumont一号 第一个脑控骨骼康复机器人 是以巴西最著名的科学家 阿尔贝托 桑托斯 杜蒙来命名 他在1901年10月19号 发明并自行飞行了 第一架驾驶飞艇 在巴黎上空在百万人们的注视下飞行 对不起,我的美国朋友们 我住在北卡罗纳 但莱特兄弟是在两年后 才在北卡的岸边成功试飞的 (鼓掌) 飞行管制是巴西人发明的 (笑)

08:50
那么我们和这些患者一起 我们把骨骼机器人组装好 15个自由度 液压器 能够用脑信号控制 并被一种非侵入式脑电图记录下来 能够让病人想象他的动作 把他的动作发送到遥控上 来完成他想做的动作 这个脑控机器人被人造皮肤覆盖 人造皮肤是我最好的朋友之一 Gordon Cheng在慕尼黑发明的 能让移动的关节以及脚触地的感觉 通过一件背心传递给患者 是一件有微震元素的智能恤衫 能够反馈并通过创造一种感觉 给患者的大脑产生一种假象 让患者感觉不到 是机器人在带动他在行走 而是他自己能够重新行走

09:46
那么我们把这个弄好了 而你们在这看到的 这是我们的患者之一,Bruno 第一次下地行走 他用了好几秒的时间 因为我们要把机器人设置好 而你们将会看到从头盔前面闪着的蓝灯 因为Bruno需要想象他要做的动作 电脑需要分析他要做的动作 Bruno将要确定他的动作 当他定好了动作 机器人就会按照Bruno大脑的指示行动 他刚定好 而现在他将开始行走 在经过九年无法移动后 他能够自己行走 而比这更重要的是 (掌声) 比行走更重要的是 他能感受到地面 如果机器人的速度加快的话 他告诉我们他在桑托斯的沙滩上再次行走 那是他在事故前曾去过的海滩度假胜地 这就是为什么在Bruno的脑里 创造了新的知觉

10:45
那么在他行走结束的时候 --- 我快没时间了 --- 他说:“你们知道吗 当我结婚的时候我要向你们借这玩意 因为我想亲自走向牧师 并且亲临现场见我的新娘 当然了,他能随时拥有这台机器

11:04
而这是我们想在世界杯上展示给大家而无法实现的东西 因为某些神秘的原因 国际足联把直播减半了 你们即将看的是 Juliano Pinto在上场前几分钟 穿着骨骼机器人踢球 而他将在全场观众面前做这一动作 你将看到的灯光描述了整个过程 基本上,蓝灯闪就说明机器人准备好了 它能接收我们的想法 并且给予反馈 而当Juliano做出踢球的决定时 你将会看到 一串绿灯和一串黄灯 从头盔出来并移动到腿上 代表着机器人接收到的头脑口令 让口令变为动作 而在13秒内 Juliano做到了他要做的动作 你能看到他的命令 他做好准备 球已放好,而他去踢那个球 而最不可思议的事情是 他踢球后10秒 他在场上看着我们 庆祝着如你所看到的 他说: “我感觉到球了” 那是无价的 (鼓掌)

12:17
那么这个发明的未来在哪里? 我有两分钟来告诉你们 它的未来只会限于你们的想象力 脑动技术就在这里 这是最新的情况: 我们在一年前刚发表的 第一个脑脑接口 能够让两个动物交换神经信息 是一个动物在某环境中看见某些东西 能够通过发送神经信息, 鱼雷,一种神经生理学的鱼雷 给第二个动物 而第二个动物在无需 依靠环境作为信息来源 去执行所需要做的动作 因为信息是来自第一个动物的大脑

12:57
这是第一次演示 我将会很快展示给你们看 因为我想要给你们看最新的成果 但你们看到的是 第一只老鼠被 左边笼子的灯提示后 它要按左边的笼子去获得奖励 它走去并按这个笼子 与此同时,他发送了一条神经信息 给第二只看不见灯的老鼠 而第二只老鼠在70%的情况下 将会按左边的杠杆去得到奖励 而无需肉眼感受到灯光

13:33
那么,我们将难度提高了一些

13:37
让猴子在一个大脑网络中 进行神经合作 实际上就是让他们提供他们的大脑活动 并把他们结合起来去移动 我刚展示给你们看的那个虚拟手臂 你们看到的是 首次两只猴子连接了它们的大脑 完美的同步了大脑并移动虚拟手臂 一只猴子控制X维 而另一只猴子控制Y维 但是当三只猴子在一起的时候 就变得更有意思 你要求一只猴子控制X和Y 另一只控制Y和Z 而第三只控制X和Z 你让他们一起来 在三维空间里边移动虚拟手臂去领奖励 而它们确实这么做 黑点是这三只猴子的大脑 在平行移动手臂时的平均值 这就是生理计算器的含义 被大脑活动影响并完成驱动目标

14:41
这将向什么方向发展? 我们并不知道 我们只是科学家而已 (笑) 我们被雇成为孩子 去探索并发现这个世界 但是有一件事我知道 几十年后的某天 当我们的子孙通过大脑上网冲浪 或是一个母亲为自闭的 盲儿童捐献自己的视力 或者某人因为脑脑连接而会说话的时候 在座中的某位将会记得这一切 都始于一个冬日午后 在巴西足球场上那一脚超越可能的开球

15:20
谢谢

15:22
(鼓掌)

15:31
谢谢

15:47
Bruno Giussani:Miguel, 感谢你遵照这时间规定 事实上我将会给多几分钟给你 因为有些观点我想再深入讨论一下 显然我们需要连接大脑去发现这一切 那么让我们把我们的大脑都连起来 那么,如果我理解正确的话 其中一只猴子得到信号 而另一只猴子接到信号做出反应 是因为第一只猴子接收并传递神经脉冲

16:13
Miguel Nicolelis: 不,这有一些不同 没有一只猴子知道有另外两只猴子的存在 它们接收到一个二维的视觉反馈 但它们要完成的任务却是三维的 他们需要在三维空间里移动胳膊 但是每只猴子在控制时 只有二维图像 而要完成这个任务 你需要至少两只猴子 去同步它们的大脑 但是在理想状态下是 同时同步三只猴子的大脑 那么我们发现 当一只猴子开始松懈时 另外两只猴子提高他们的动作 让松懈的那只猴子跟上节奏 那么这个只是动态上有调整 但是整体还是不变的 现在,如果你改变每个大脑控制的维度 但没有事先告知那些猴子 比如这只猴子控制X和Y 但是它本应该控制Y和Z 动物的大脑立即忘掉旧的指令 并开始专注于新的指令 我需要说的是这里没有图灵机 没有计算机可以预言大脑能做什么 那么我们将技术吸收成为我们的一部分 科技将不会控制我们 (科技控制我们)这是不可能的

17:26
BG:你们测试了多少次? 而在测试中成功和失败的比率是多少?

17:32
MN:噢,几十倍 三只猴子在一起的时候? 哦,好几次 我不可能站在这如果我没有至少做几次测试 而我忘记提了,因为时间关系 在三周前一群欧洲人 刚演示了第一个人对人,脑对脑的连接 BG:而那个又是如何运作的 MN:我知道一点信息 伟大的想法,总始于藏在不起眼的地方 但是基本上一个目标的大脑运动 通过非入侵式科技传递到第二个目标 那么第一个目标得到一个信息 比如之前说的老鼠,得到一个视觉信号 并传递给第二个目标 第二个目标在其视觉皮层接收到磁脉冲 或是两种不同的脉冲 在第一个脉冲中, 目标发现某些东西 在另一个脉冲他发现不同的东西 而它能够在口头上通过 跨大洲的互联网 指出第一个物体所发出的信息是什么

18:36
主持人:哇 那好,这就是我们的方向 这将在下一个TED Talk里为大家展示 Miguel Nicolelis, 谢谢你 MN: 谢谢,Bruno。谢谢大家



只看该作者 沙发  发表于: 2022-08-10
Brain-to-brain communication has arrived. How we did it
1,451,010 views | Miguel Nicolelis • TEDGlobal 2014


Miguel Nicolelis
Neuroscientist

Miguel Nicolelis explores the limits of the brain-machine interface.


On June 12, 2014, precisely at 3:33 in a balmy winter afternoon in São Paulo, Brazil, a typical South American winter afternoon, this kid, this young man that you see celebrating here like he had scored a goal, Juliano Pinto, 29 years old, accomplished a magnificent deed. Despite being paralyzed and not having any sensation from mid-chest to the tip of his toes as the result of a car crash six years ago that killed his brother and produced a complete spinal cord lesion that left Juliano in a wheelchair, Juliano rose to the occasion, and on this day did something that pretty much everybody that saw him in the six years deemed impossible. Juliano Pinto delivered the opening kick of the 2014 Brazilian World Soccer Cup here just by thinking. He could not move his body, but he could imagine the movements needed to kick a ball. He was an athlete before the lesion. He's a para-athlete right now. He's going to be in the Paralympic Games, I hope, in a couple years. But what the spinal cord lesion did not rob from Juliano was his ability to dream. And dream he did that afternoon, for a stadium of about 75,000 people and an audience of close to a billion watching on TV.

01:42
And that kick crowned, basically, 30 years of basic research studying how the brain, how this amazing universe that we have between our ears that is only comparable to universe that we have above our head because it has about 100 billion elements talking to each other through electrical brainstorms, what Juliano accomplished took 30 years to imagine in laboratories and about 15 years to plan.

02:12
When John Chapin and I, 15 years ago, proposed in a paper that we would build something that we called a brain-machine interface, meaning connecting a brain to devices so that animals and humans could just move these devices, no matter how far they are from their own bodies, just by imagining what they want to do, our colleagues told us that we actually needed professional help, of the psychiatry variety. And despite that, a Scot and a Brazilian persevered, because that's how we were raised in our respective countries, and for 12, 15 years, we made demonstration after demonstration suggesting that this was possible.

02:56
And a brain-machine interface is not rocket science, it's just brain research. It's nothing but using sensors to read the electrical brainstorms that a brain is producing to generate the motor commands that have to be downloaded to the spinal cord, so we projected sensors that can read hundreds and now thousands of these brain cells simultaneously, and extract from these electrical signals the motor planning that the brain is generating to actually make us move into space. And by doing that, we converted these signals into digital commands that any mechanical, electronic, or even a virtual device can understand so that the subject can imagine what he, she or it wants to make move, and the device obeys that brain command. By sensorizing these devices with lots of different types of sensors, as you are going to see in a moment, we actually sent messages back to the brain to confirm that that voluntary motor will was being enacted, no matter where -- next to the subject, next door, or across the planet. And as this message gave feedback back to the brain, the brain realized its goal: to make us move. So this is just one experiment that we published a few years ago, where a monkey, without moving its body, learned to control the movements of an avatar arm, a virtual arm that doesn't exist. What you're listening to is the sound of the brain of this monkey as it explores three different visually identical spheres in virtual space. And to get a reward, a drop of orange juice that monkeys love, this animal has to detect, select one of these objects by touching, not by seeing it, by touching it, because every time this virtual hand touches one of the objects, an electrical pulse goes back to the brain of the animal describing the fine texture of the surface of this object, so the animal can judge what is the correct object that he has to grab, and if he does that, he gets a reward without moving a muscle. The perfect Brazilian lunch: not moving a muscle and getting your orange juice.

05:10
So as we saw this happening, we actually came and proposed the idea that we had published 15 years ago. We reenacted this paper. We got it out of the drawers, and we proposed that perhaps we could get a human being that is paralyzed to actually use the brain-machine interface to regain mobility. The idea was that if you suffered -- and that can happen to any one of us. Let me tell you, it's very sudden. It's a millisecond of a collision, a car accident that transforms your life completely. If you have a complete lesion of the spinal cord, you cannot move because your brainstorms cannot reach your muscles. However, your brainstorms continue to be generated in your head. Paraplegic, quadriplegic patients dream about moving every night. They have that inside their head. The problem is how to get that code out of it and make the movement be created again.

06:04
So what we proposed was, let's create a new body. Let's create a robotic vest. And that's exactly why Juliano could kick that ball just by thinking, because he was wearing the first brain-controlled robotic vest that can be used by paraplegic, quadriplegic patients to move and to regain feedback.

06:23
That was the original idea, 15 years ago. What I'm going to show you is how 156 people from 25 countries all over the five continents of this beautiful Earth, dropped their lives, dropped their patents, dropped their dogs, wives, kids, school, jobs, and congregated to come to Brazil for 18 months to actually get this done. Because a couple years after Brazil was awarded the World Cup, we heard that the Brazilian government wanted to do something meaningful in the opening ceremony in the country that reinvented and perfected soccer until we met the Germans, of course. (Laughter) But that's a different talk, and a different neuroscientist needs to talk about that. But what Brazil wanted to do is to showcase a completely different country, a country that values science and technology, and can give a gift to millions, 25 million people around the world that cannot move any longer because of a spinal cord injury. Well, we went to the Brazilian government and to FIFA and proposed, well, let's have the kickoff of the 2014 World Cup be given by a Brazilian paraplegic using a brain-controlled exoskeleton that allows him to kick the ball and to feel the contact of the ball. They looked at us, thought that we were completely nuts, and said, "Okay, let's try." We had 18 months to do everything from zero, from scratch. We had no exoskeleton, we had no patients, we had nothing done. These people came all together and in 18 months, we got eight patients in a routine of training and basically built from nothing this guy, that we call Bra-Santos Dumont 1. The first brain-controlled exoskeleton to be built was named after the most famous Brazilian scientist ever, Alberto Santos Dumont, who, on October 19, 1901, created and flew himself the first controlled airship on air in Paris for a million people to see. Sorry, my American friends, I live in North Carolina, but it was two years before the Wright Brothers flew on the coast of North Carolina. (Applause) Flight control is Brazilian. (Laughter)

08:50
So we went together with these guys and we basically put this exoskeleton together, 15 degrees of freedom, hydraulic machine that can be commanded by brain signals recorded by a non-invasive technology called electroencephalography that can basically allow the patient to imagine the movements and send his commands to the controls, the motors, and get it done. This exoskeleton was covered with an artificial skin invented by Gordon Cheng, one of my greatest friends, in Munich, to allow sensation from the joints moving and the foot touching the ground to be delivered back to the patient through a vest, a shirt. It is a smart shirt with micro-vibrating elements that basically delivers the feedback and fools the patient's brain by creating a sensation that it is not a machine that is carrying him, but it is he who is walking again.

09:46
So we got this going, and what you'll see here is the first time one of our patients, Bruno, actually walked. And he takes a few seconds because we are setting everything, and you are going to see a blue light cutting in front of the helmet because Bruno is going to imagine the movement that needs to be performed, the computer is going to analyze it, Bruno is going to certify it, and when it is certified, the device starts moving under the command of Bruno's brain. And he just got it right, and now he starts walking. After nine years without being able to move, he is walking by himself. And more than that -- (Applause) -- more than just walking, he is feeling the ground, and if the speed of the exo goes up, he tells us that he is walking again on the sand of Santos, the beach resort where he used to go before he had the accident. That's why the brain is creating a new sensation in Bruno's head.

10:45
So he walks, and at the end of the walk -- I am running out of time already -- he says, "You know, guys, I need to borrow this thing from you when I get married, because I wanted to walk to the priest and see my bride and actually be there by myself. Of course, he will have it whenever he wants.

11:04
And this is what we wanted to show during the World Cup, and couldn't, because for some mysterious reason, FIFA cut its broadcast in half. What you are going to see very quickly is Juliano Pinto in the exo doing the kick a few minutes before we went to the pitch and did the real thing in front of the entire crowd, and the lights you are going to see just describe the operation. Basically, the blue lights pulsating indicate that the exo is ready to go. It can receive thoughts and it can deliver feedback, and when Juliano makes the decision to kick the ball, you are going to see two streams of green and yellow light coming from the helmet and going to the legs, representing the mental commands that were taken by the exo to actually make that happen. And in basically 13 seconds, Juliano actually did. You can see the commands. He gets ready, the ball is set, and he kicks. And the most amazing thing is, 10 seconds after he did that, and looked at us on the pitch, he told us, celebrating as you saw, "I felt the ball." And that's priceless. (Applause)

12:17
So where is this going to go? I have two minutes to tell you that it's going to the limits of your imagination. Brain-actuating technology is here. This is the latest: We just published this a year ago, the first brain-to-brain interface that allows two animals to exchange mental messages so that one animal that sees something coming from the environment can send a mental SMS, a torpedo, a neurophysiological torpedo, to the second animal, and the second animal performs the act that he needed to perform without ever knowing what the environment was sending as a message, because the message came from the first animal's brain.

12:57
So this is the first demo. I'm going to be very quick because I want to show you the latest. But what you see here is the first rat getting informed by a light that is going to show up on the left of the cage that he has to press the left cage to basically get a reward. He goes there and does it. And the same time, he is sending a mental message to the second rat that didn't see any light, and the second rat, in 70 percent of the times is going to press the left lever and get a reward without ever experiencing the light in the retina.

13:33
Well, we took this to a little higher limit by getting monkeys to collaborate mentally in a brain net, basically to donate their brain activity and combine them to move the virtual arm that I showed you before, and what you see here is the first time the two monkeys combine their brains, synchronize their brains perfectly to get this virtual arm to move. One monkey is controlling the x dimension, the other monkey is controlling the y dimension. But it gets a little more interesting when you get three monkeys in there and you ask one monkey to control x and y, the other monkey to control y and z, and the third one to control x and z, and you make them all play the game together, moving the arm in 3D into a target to get the famous Brazilian orange juice. And they actually do. The black dot is the average of all these brains working in parallel, in real time. That is the definition of a biological computer, interacting by brain activity and achieving a motor goal.

14:41
Where is this going? We have no idea. We're just scientists. (Laughter) We are paid to be children, to basically go to the edge and discover what is out there. But one thing I know: One day, in a few decades, when our grandchildren surf the Net just by thinking, or a mother donates her eyesight to an autistic kid who cannot see, or somebody speaks because of a brain-to-brain bypass, some of you will remember that it all started on a winter afternoon in a Brazilian soccer field with an impossible kick.

15:20
Thank you.

15:22
(Applause)

15:31
Thank you.

15:47
Bruno Giussani: Miguel, thank you for sticking to your time. I actually would have given you a couple more minutes, because there are a couple of points we want to develop, and, of course, clearly it seems that we need connected brains to figure out where this is going. So let's connect all this together. So if I'm understanding correctly, one of the monkeys is actually getting a signal and the other monkey is reacting to that signal just because the first one is receiving it and transmitting the neurological impulse.

16:13
Miguel Nicolelis: No, it's a little different. No monkey knows of the existence of the other two monkeys. They are getting a visual feedback in 2D, but the task they have to accomplish is 3D. They have to move an arm in three dimensions. But each monkey is only getting the two dimensions on the video screen that the monkey controls. And to get that thing done, you need at least two monkeys to synchronize their brains, but the ideal is three. So what we found out is that when one monkey starts slacking down, the other two monkeys enhance their performance to get the guy to come back, so this adjusts dynamically, but the global synchrony remains the same. Now, if you flip without telling the monkey the dimensions that each brain has to control, like this guy is controlling x and y, but he should be controlling now y and z, instantaneously, that animal's brain forgets about the old dimensions and it starts concentrating on the new dimensions. So what I need to say is that no Turing machine, no computer can predict what a brain net will do. So we will absorb technology as part of us. Technology will never absorb us. It's simply impossible.

17:26
BG: How many times have you tested this? And how many times have you succeeded versus failed?

17:32
MN: Oh, tens of times. With the three monkeys? Oh, several times. I wouldn't be able to talk about this here unless I had done it a few times. And I forgot to mention, because of time, that just three weeks ago, a European group just demonstrated the first man-to-man brain-to-brain connection. BG: And how does that play? MN: There was one bit of information -- big ideas start in a humble way -- but basically the brain activity of one subject was transmitted to a second object, all non-invasive technology. So the first subject got a message, like our rats, a visual message, and transmitted it to the second subject. The second subject received a magnetic pulse in the visual cortex, or a different pulse, two different pulses. In one pulse, the subject saw something. On the other pulse, he saw something different. And he was able to verbally indicate what was the message the first subject was sending through the Internet across continents.

18:36
Moderator: Wow. Okay, that's where we are going. That's the next TED Talk at the next conference. Miguel Nicolelis, thank you. MN: Thank you, Bruno. Thank you.

https://www.ted.com/talks/miguel_nicolelis_brain_to_brain_communication_has_arrived_how_we_did_it

只看该作者 板凳  发表于: 2022-08-14
A monkey that controls a robot with its thoughts. No, really.
Can we use our brains to directly control machines? Miguel Nicolelis suggests yes, showing how a clever monkey in the US learned to control a robot arm in Japan purely with its thoughts. The research has big implications for quadraplegic people -- and in fact, it powered the exoskeleton that kicked off the 2014 World Cup.


1,369,669 views | Miguel Nicolelis • TEDMED 2012

Shibin Li, Translator
Cho Lena, Reviewer

00:00
我和我同事们所从事的神经科学研究 就像天气预报 我们总在追逐风暴 我们想要观测的是头脑风暴 平日里我们总在谈论头脑风暴 但我们很少真正看到,或听到它 所以每当我谈到头脑风暴时 总希望能先让你们真实体验一下

00:24
实际上,这是我们第一次记录到多个神经细胞: 同时观测100个脑细胞时 我们所测到的电火花 来自同一个动物的100个细胞 我们第一次记录到的 就是这段录音的前10秒 我们撷取到了思想的一个小片段 它就这样呈现在我们面前。

00:45
我总是告诉学生们 某种意义上讲,我们可以把神经学家叫做天文学家 因为我们所处理的这个系统 包含数量巨大的细胞 数量大到只有宇宙中的星系数量可以比拟 现在,在数十亿计的神经元中 我们可以记录到的,已经从10 年前的100个 到了现在的1000个 我们想理解人性的基础 因为,你可能不知道 我们用来确立人性的一切,都源于这些头脑风暴 这些席卷我们大脑沟回的风暴 它确立了我们的记忆,信仰 情感,以及我们的未来规划 我们所做的一切 每一个人曾经做,正在做和将要做的一切 都基于大量的神经细胞工作所产生的这些风暴

01:42
而头脑风暴的声音,如果你们没听过的话, 就是这个样子的。 需要的话,你们可以放大音量来听。 我儿子说这就像"一边听着没调准的收音机,一边做爆米花"。 这就是大脑。 这是这些电风暴在扬声器中播放的声音。 你可以听到一百个脑细胞同时开火的声音, 你我的大脑听起来都像这样,任何大脑都如此。 此时,作为神经学家,我们想做的 实际上就是欣赏这些交响乐,头脑的交响乐 试着获取这其中承载的信息。

02:22
需要特别提一句的是,大概12 年前 我们创建了一个模式,我们把它叫做 脑-机 介面。 我可以在这里介绍一下它的工作原理。 想法就是,使用某些传感器,去聆听这些风暴,电风暴, 我们能否与此同时 在这些风暴离开大脑达到动物四肢的 半秒左右的时间内 我们能否读取这些信号 将其中携带的运动信息提取出来 转化成数字命令 并发送到人工设备上 设备将同步做出大脑指令的动作 通过比较设备和动物身体所做的动作 我们可以衡量这种“信息翻译”的准确程度

03:11
如果我们可以提供反馈 把大脑控制下的 人工机械执行器发出的信号 再次传回大脑 大脑将如何处理 这些从人工设备接收回的信息

03:30
这就是我们 10 年前做的事情。 我们在一只名叫Aurora的猴子身上开始试验 它现在已经成了这个领域的一个超级巨星了。 Aurora喜欢玩电子游戏。 就像你们现在看到的, 就像我们和我们的孩子一样,它喜欢用操纵杆玩这个游戏 作为优秀的灵长类动物,找到正确答案前它甚至还会试着作弊 它需要用操纵杆控制光标穿过目标 但在目标出现之前 Aurora就已经开始到处寻找目标了 只要它这么做, 当它每次操作光标穿过目标, 就可以得到一滴巴西橙汁。 我可以跟你们说,只需一小滴巴西橙汁, 任何猴子都肯为你赴汤蹈火。 这适用于任何灵长类动物。 想想吧。

04:20
玩你们看到的这种游戏 每天进行一千次判断 达到 97%的正确率, 获得350 毫升橙汁奖励。 我们记录它大脑中产生的头脑风暴 将它们发送到一个机器手臂 机械手臂学习如何重现Aurora正在进行的动作。 因为我们的想法是开启 脑-机 介面 让Aurora通过思考就可以玩游戏 不需要肢体的加入 它的头脑风暴将控制机械臂 机械臂移动光标穿过目标 我们惊讶地发现,Aurora正是这么做的 它玩游戏时,完全无需移动自己的身体

05:02
你们目前看到的每一条光标轨迹 都是来自它第一次做到这点的时候 都来自那一刻 一个意识可以被灵长类动物从物理意义的身体中解放出来 可以通过控制人工设备 在外部世界进行动作 Aurora一直玩游戏,不断寻找目标 并得到它渴望的橙汁

05:32
那个时候,它已经获得了“新”手臂 你们在这里看到机械手臂的动作 是在第一个视频的30天后录制的 在Aurora的大脑的控制之下 它正将光标移到目标 Aurora现在知道,它可以用机械臂玩这个游戏, 同时还可以随心所欲使用自己的生物手臂去干别的 用自己的手臂挠自己的背,可以挠我们,还可以玩另一个游戏 总而言之 Aurora的大脑已经整合了这个人工设备 作为它身体的延伸 Aurora意识里的自我已经扩展 多出了一只手臂

06:20
这就是我们 10 多年所做的事 让我们快进随后的10 年 就在去年我们意识到,你甚至不需要有一个机械设备 你可以只生成一个计算意义的身体,一个化身,猴子化身 实际上,你就可以使用这个化身与猴子互动 或者训练猴子,让它们学会在一个虚拟的世界中 以化身的角度 用大脑活动控制化身的肢体动作

06:53
基本上,我们所做的就是训练动物 学习如何控制这些化身 探索出现在虚拟世界中的对象 这些对象看上去一样 但当化身穿过对象表面 对象就会发出与自身表面微结构触感对应的电信息 这些电信息直接返回猴子的大脑 告诉大脑,化身触摸到了什么 短短四个星期内,大脑就学会处理这种新的感觉 并建立起了新的感官通路 — 就像一种新的感觉 现在你真正地解放了大脑 因为可以让大脑发送运动命令来移动化身 同时来自化身的反馈可以直接通过大脑处理 无需皮肤的参与

07:50
这里看到的是设计的任务 你将看到实验动物触摸这三个目标 但它只能选择其中一个,因为只有正确选中携带奖励的目标 才能获得它们想要的橙汁 它必须使用并不实际存在的一只虚拟手臂触摸和选择 它们就是这么做的

08:10
这是对大脑的彻底解放 从实际身体的限制中获得解放,完成知觉任务 这只实验动物正控制化身去触摸目标 它通过大脑直接接收电信息来感觉纹理 大脑判断哪种纹理会带来奖励 猴子看不见这个视频上的标示 顺便说一句,反正它们也不懂英语 这里的标示只是为了显示,正确的目标始终在变换位置 然而,动物仍然可以通过触感的区别 找到并选择它

08:50
所以,当我们看看这些动物的大脑 上方的图像中,你可以看到125个神经细胞的排列 显示当动物使用操纵杆时 大脑的活动 产生的电风暴的情况 这是每个神经生物学家都熟知的图像 神经元的排列方式显示这些细胞正在编码所有的可能方向 下面的图像是在身体停止移动 实验动物开始控制机械设备或者计算化身时的情况 就像我们重置电脑一样快 大脑的活动发生变化,开始表达这个新工具 就像新工具本来就是这个灵长类动物身体的一部分一样 大脑以最快速度同化了它

09:44
这说明,我们的感觉本身 并不会中止于身体的最外层皮肤 而是中止于我们大脑控制的,最终端的设备工具 我们的小提琴、汽车、自行车、足球、衣服等等 它们都被这个称作大脑的,贪婪而令人惊叹的动态系统同化了

10:09
我们还能走得更远么? 在前几年的实验中,我们达到了新的高度 我们曾让一只实验动物 在美国东海岸杜克大学的跑步机上运动 产生运动所需要的头脑风暴 同时,我们有了人形机器人设备 放置在日本京都 ATR 实验室 机器人一生的梦想就是 获得一个人类或其它灵长类动物的大脑指令

10:38
猴子大脑的活动发出运动指令 传到日本,并且控制这个机器人的行走 行走的镜头被发送回杜克 所以,猴子能看到机器人的双腿就在眼前行走 它因此获得奖励,但并不是因为它自己身体的动作 而是来源于地球另一端的机器人 在它大脑活动控制下正确走的每一步

11:07
有趣的是,这个环绕地球的往返行程 比猴子的头脑风暴离开大脑 达到其本身的肌肉所花的时间还要短20毫秒 这只猴子正在移动地球另一端一个六倍于它身体的机器人 这就是机器人自主行走的实验之一 这是 CB1 正在在日本 在灵长类动物大脑活动的控制下,完成自己的梦想

11:43
我们所谈的所有这一切是为了什么? 除了学习我们双耳间的这个动态宇宙, 这项研究还可以用来做什么? 我们的想法是,使用所有的这些知识和技术 尝试解决世界上最严重的神经问题。 数以百万计的人失去了将头脑风暴 翻译成动作,翻译成运动的能力。 虽然他们的大脑还在产生这些风暴,为运动编码, 但他们无法跨越脊髓病变所制造的障碍。

12:21
所以我们的理念是绕道而行, 用 脑-机 介面来读取这些信号, 放大这些携带重新运动愿望的头脑风暴, 利用计算机微工程绕过病变 将它发送到一个新身体,一个可以称为外骨骼的完整身体 这个完整的机器人设备,将成为这些患者的全新躯体。

12:48
你们眼前的这个图景 由一个叫做“再次行走项目”的非营利组织制作 这个组织聚集了来自欧洲, 美国和巴西的科学家, 为构建这个全新躯体而共同努力。 我们相信,与Aurora和其它猴子在 脑-机 介面中 所使用的相同的合成设备 我们可以把它们整合并应用于日常生活 通过同样的合成设备,我们希望,能让这些病人 不仅能够把他们想要做的动作 翻译成新身体的动作 同时还可以与这个大脑控制的新身体完美融合

13:38
10 年前,别人告诉我 这是痴人说梦,几乎是不可能的。 作为一个科学家,我只能告诉你 60年代中期,我在巴西南部长大 看着几个疯狂的家伙告诉 [我们] 说他们会去月球。 那时我五岁 我想不通美国国家航空航天局(NASA)为什么不雇柯克船长和斯波克(电影《星际迷航》中的两个著名角色)去登月。 毕竟,这方面他们才是专家。 但儿时所见的这一切 令我相信,我祖母曾经告诉过我的话 "所有不可能其实都是可能的, 只是人们还没有付出足够的努力让它们成真。"

14:17
所以,当有人告诉我,让一个人恢复行走能力是不可能的时候。 我觉得我还是会相信我祖母的建议。

14:24
谢谢。

14:26
(掌声)
https://www.ted.com/talks/miguel_nicolelis_a_monkey_that_controls_a_robot_with_its_thoughts_no_really/transcript

快速回复
限100 字节
批量上传需要先选择文件,再选择上传
 
上一个 下一个