易坊好文馆

  1. 首页 > 玩科技 >

接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面

患者 活动 字母 接口 准确率 斯坦福 高达 Nature 受试者 意念 脑机 Shenoy 斯坦福大学

机器之心报道
编辑：杜伟、小舟

来自斯坦福大学的研究者让脑机接口的发展又进了一步——首次破解了「与手写笔迹相关」的大脑活动 。 瘫痪受试者借助一套皮质内脑机接口系统 ， 每分钟可以打出 90 个字符 ， 准确率为 94% 至 99% ， 可称得上是该领域的一大进步 。
利用脑机接口技术（ BCI）进行意念操控 ， 已经不是什么新鲜事 。 脑机接口技术也正越来越多地给瘫痪患者带来便利 。 此前 ， 美国 BrainGate 团队首次实现了人类大脑信号与计算机之间的无线高带宽传输 ， 通过创建一套无线脑机接口设备 ， 瘫痪患者不仅能够借助思维打字 ， 还能在家轻松浏览网络内容 。
以往 ， 脑机接口的主要功能是恢复患者的 「运动技能」 ， 比如借助脑机接口设备操控机械臂抓取物品、移动电脑光标、点击字母输入等 。
近日 ， 斯坦福大学的研究者实现了一项新的突破 ， 首次破译了「与手写笔迹相关」的大脑活动 ， 可以让瘫痪患者不用手也能快速打字 。 具体来讲 ， 他们开发了一套皮质内脑机接口（intracortical BCI）系统 ， 这套系统可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作 ， 并利用递归神经网络（RNN）解码方法将这些手写动作实时转换为文本 。
论文一作兼通讯作者为斯坦福大学霍华德 · 休斯医学研究所的研究科学家 Frank Willett ， 相关论文登上了最新一期的 Nature 封面 。

接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面
文章图片

就实验结果而言 ， 借助于这套皮质内脑机接口系统 ， 研究受试者（因脊髓损失瘫痪）每分钟可以打出约 90 个字符 ， 是以往利用此类脑机接口打字记录的两倍多 ， 并且在线原始准确率达到了 94.1% ， 自动更正后的离线准确率超过了 99% 。
论文作者之一、斯坦福大学霍华德 · 休斯医学研究院的研究员 Krishna Shenoy 表示：「随着进一步的开发 ， 这项创新性研究可以使瘫痪患者不用手也能快速打字 。 」
【接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面】加州大学伯克利分校的神经工程师 Jose Carmena 也认为：「这项研究以及其他同类研究在帮助各类残疾患者方面具有很大潜力 。 尽管研究结果只是初步的 ， 但依然是该领域的重大进步 。 」
脑机接口实现瘫痪患者「意念写字」
瘫痪患者可能会丧失移动能力 ， 但大脑中仍然存在关于走路、喝咖啡说话等行为的神经活动 。 脑机接口方向的研究能够帮助瘫痪患者或者截肢患者恢复失去的能力 。 具体的需求因患者的情况而定 。 例如 ， 失去双手的患者可以使用带有语音识别功能的计算机或软件 。 对于说话困难的人 ， 科学家们正在研究其他方法来帮助人们交流 。
Shenoy 的团队对与语音相关的神经活动进行了解码 ， 希望能够复现这些神经活动 。 他们还为植入传感器的参与者设计了一种新的方法 ， 以使他们能够利用与肢体运动相关的意念来移动屏幕上的光标 。
然而 ， 没有人尝试过「手写文字」的行为 。
因此 ， 论文一作 Frank Willett 想探究是否有可能将笔置于纸张上来激发大脑信号 。 此外 ， 该团队与一位参与了 BrainGate2 临床实验的参与者进行了合作 。
Shenoy 团队中的神经外科医生 Henderson 将两个微小的传感器植入到参与者大脑中控制手臂和手部的部位上 ， 从而使患者能够利用移动手臂的意念来控制机械臂或屏幕上光标的移动 。
受试者的运动前区平层被植入两个脑机接口芯片 ， 共计大约 200 个电极 。

接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面
文章图片

使用微型电极记录大脑信号 。 图源：BrainGate.org
在整个过程中 ， 首先一位患有脊髓损伤的 65 岁受试者「想象着用笔在纸上写字」：

接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面
文章图片

接着 ， 受试者大脑中植入的电极检测到「他试图写字的活动」：

接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面
文章图片

最后 ， 算法对每个字符对应的活动模式进行解码 ， 并将这些活动模式转换成可在屏幕上显示的文本 。
对受试者「试图手写」行为的实时神经解码如下图（左）所示 ， 转换为屏幕可显示文本的关键技术 RNN 的架构如图（右）所示：
利用这种系统 ， 受试者能够复制语句或者回答问题 ， 并且速度和同龄人使用智能手机输入的速度差不多 。
Willett 表示：「这种名为『Brain-to-Text』的 BCI 的速度之所以这么快 ， 是因为每个字母引发的神经活动模式都大不相同 ， 从而使算法易于区分 。 」
未来设想
Shenoy 团队设想利用手写文本输入打造一个更全面的系统 ， 该系统包括类似智能手机界面中的点击导航功能 ， 甚至尝试了语音解码功能 。 他表示：「我们肯定会让系统尝试两到三种模式 ， 并在它们之间切换 。 」
接下来 ， 团队将与一位无法说话的参与人员共同工作 ， 比如患有肌萎缩性脊髓侧索硬化症（ALS）的人 ， 这是一种退化性的神经系统疾病 ， 会导致患者的运动及说话能力丧失 。 Henderson 补充说 ， 新系统将帮助到那些因各种疾病瘫痪的人 。
《潜水钟与蝴蝶》的作者 Jean-Dominique Bauby 因中风丧失了大多数行为能力 ， 仅剩一只左眼能够眨动 ， 但凭借着顽强的意志力 ， 以听读眨眼的方式写出了生命中最后一本书 。 假如有了这套新系统 ， 他是否可以留下更多的生命回忆？

接口|用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登Nature封面
文章图片

「我的肉体沉重如潜水钟 ， 但内心渴望像蝴蝶般自由飞翔 。 除了我的眼睛外 ， 还有两样东西没有瘫痪：我的想象以及我的记忆 。 只有想象和记忆 ， 才能令我摆脱潜水钟的束缚 。 」
参考链接：
https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html
https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/

    推荐阅读


    上一篇：产品|腾讯云发布两款数据湖产品 构建时间减少60%

    下一篇：云米|不囿于智能家居局限性，整装待发的云米科技前路几何?