关注公众号

关注公众号

手机扫码查看

手机查看

喜欢作者

打赏方式

微信支付微信支付
支付宝支付支付宝支付
×

人类里程碑式的进步:脑机交互

2021.6.02

  如果史蒂芬霍金能活到今天的话,2021年5月12日或许对他来说会是个特别振奋人心的日子。从最早的拼写卡到用一根手指打字,直至病情恶化到只能用脸颊的一块肌肉来控制电脑,一分钟完成2个字。他一定会感到沮丧和无助吧,但无论如何,最顶级的人机交互技术曾专门为他研发,这是他走过的时代。但他又是不幸的,如果2021年5月12号能来的早一点的话,这位身患ALS五十多年的科学巨擘或许还能以更体面的方式继续展示着代表人类最高水平的思想。

  2021年5月12日到底发生了什么呢?在这一天,来自斯坦福大学医学院的 Krishna Sheonoy团队在Nature在线发表了文章 High-performance brain-to-text communication via handwriting,他们通过记录瘫痪患者运动皮层的神经活动、结合神经网络分析,成功实时解码出了患者用意念写出来的字句。这种脑机交互技术能达到每分钟90字符的打字速度,和正常人玩手机打字的速度相当,经过离线自动更正后的正确率更是高达99%,这简直是人类里程碑式的进步。果然,在本项研究发表以后,科学界掀起了讨论的热潮。

294023_202106021022361.jpg

  这位受试者代号是T5,他由于脊髓受损导致颈部以下全面瘫痪,双手更是全无功能。研究人员在T5的手部运动脑区植入了两个微电极阵列,用于记录神经信号。手术恢复之后,他们让T5想象自己重获双手拿着钢笔在纸上写字的感觉,为了使神经信号更容易被机器检测到,他们约定空格用大于号(‘>’)表示,句号用波浪号(‘~’)表示,其他字符保持不变。

  虽然多年瘫痪,研究人员欣喜的发现T5并没有忘记如何书写,他们检测到这些书写的神经信号很强,并且每次写同一个字符时的神经活动都很相似。如果将神经信号用非线性降维方法分成不同的神经活动簇的话,这些字符都可以很好的区分开来,其准确率高达94.1%。这意味着T5或许可以用他的意念写下词甚至句子。

  接着,研究人员训练了递归神经网络(recurrent neural network, RNN)来解码T5想传达的信息。他们遇到了两个难点:首先,他们无法事先知道T5写各个字符的时间,因此很难运用监督式学习方法计算,其次是他们采集的数据量与正常的RNN数据量无法相比,难以避免过拟合的问题(指过于精确地匹配特定数据集,以致无法良好地拟合其他数据或预测未来的观察结果)。于是他们决定先试用前几天的数据做初步RNN分析,然后一点一点加入之后采集到的数据再进行校正,不断完善神经网络。在测试的最后一天,他们终于完成了7.6小时,31574个字符的数据,此时的RNN网络数据库终于初具规模了。

  为了测试RNN算法的表现,T5用意念写下了很多句子,这些句子有些是被要求写下的,有些是回答开放性问题时自由发挥的。令人刮目的是,不论哪种情况,RNN神经网络都只需半秒钟左右的延迟就能在电脑屏幕上显示出可读性很高的字句,其出错率只有5.4%,而如果用离线的语言模型自动校准后,出错率更是降到了0.89%,如果最终将所有的数据重新训练出新的RNN,其出错率甚至只有0.17%,这意味着T5此时完全可以“心想字成”了。

  只是如果应用到临床,这种脑机交互的方法还有一个现实问题需要解决:在这项研究中,随着时间的推移,大脑的神经信号也会随之变化,因此T5每天都需要想象几十个句子为机器提供校正信息,这无疑对患者产生了很大的负担。幸运的是,研究人员发现,如果每隔2-7天T5能想象10句话(而不是之前的30句)作为校准信息供RNN分析,这个网络也可以达到差强人意的效果(错误率8.5%),而如果采用一个新的非监督性学习语言模型的自动校准方法,无需T5的意念校准的错误率就能低达7.3%(离线计算可低达0.84%)——这无疑已经在可接受的范围了。

  为什么此项研究中解码出的速度如此之快呢?这或许与书写字符在时空间维度上包含高度的变化性有关。相比于简单的从起点到终点画一条直线,T5每写一个字符都有自己独特的笔画(空间维)和速度(时间维),因此相应脑神经活动也有更大的差别,因此更容易将其分开。研究人员认为,相比于空间维,时间维更是使RNN增加字符区分度的主要原因。比如在此之前的脑机接口技术常常依赖于眼动信息,主要通过眼睛停留在键盘屏幕的位置输出字符,这种点对点的直线运动比手写字母产生的神经信号更难以解码,因此也解释了为什么眼动解码只能达到每分钟45个字符的原因。

  这项里程碑式的研究无疑为瘫痪患者打了一剂有力的强心剂,当然未来需要解决的问题还有很多,比如如何保证“一次植入,终生有效”?如何从英文推广到其他语言?这项研究只是一个精彩的开始,作者已经把他们的研究数据全面公开化,鼓励科学各界的合作,相信未来会有越来越多的科学家站在他们的肩膀上,全力以赴地攻克这些难题。


推荐
热点排行
一周推荐
关闭