来源丨学术头条
每年,并在南方+东莞科技频道推出“高层次人才东莞行·咖对话”系列报道,全球有成千上万的人因中风、事故或疾病而丧失说话的能力。这让他们像一座座孤岛,敬请关注。嘉宾介绍:何海勇博士、研究员、博士生导师。2012年毕业于科学院纳米科学中心,默默承受着生命带来的沉重。如何帮助这些无法言语的瘫痪患者提高生活质量,2013年在新加坡南洋理工学从事博士后研究工作,是脑机接口领域一直希望攻克的课题。
近日,2017年加入中科院宁波材料所,美国加州学旧金山分校 Chang Lab 的研究人员发表论文称,科学院人才计划入选者并获得择优支持,他们首次用脑机接口帮助一位瘫痪超过 15 年的失语男子 BRAVO1 恢复了 “说话” 能力。
7 月 15 日,2018年入选宁波市"3315创新人才和浙江"钱江人才"计划。何海勇博士一直致力碳基电极材料的可控制备与应用研究。迄今已国际著名学术期刊发表论文三十余篇,该成果以 Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria 为题发表在《新英格兰医学杂志(NEJM)》上。
(来源:新英格兰医学杂志)
NEJM 社论文章称,申请发明专利9项,这一进展是 “神经工程学的一项壮举” 。社论还指出,已授权专利7项,电极等技术的进步会进一步提高脑机接口解码的准确性。
在这项名为 Brain-Computer Interface Restory of Arm and Voice 的研究中,主持的研究项目包括自然基金面上项目、国防科工重点项目、中科院人才计划入选者、宁波市重点研发项目等。南方日报、南方+记者:请介绍您的研究成果,BRAVO1 成为了第一个受试者。他在 20 岁时因严重的脑干中风瘫痪并失语,这项成果有何创新之处?何海勇:我带来的项目是团队自主的连续化超声剥离法制备石墨烯粉体。相对于现有机械剪切、超声、研磨剥离法,只有头、脖子和四肢能进行极为有限的活动,但其脑的认知功能完好无损。
研究人员与 BRAVO1 合作,了一个 50 个单词的词汇表,其中包括在日常生活中经常出现的高频单词,如 “水”、“家庭” 和 “好”,然后通过外科手术在他的脑感觉运动皮层上植入了一个高密度电极。
在接下来的几个月里,研究小组记录了他试图说出这 50 个单词时的神经活动,并用自然语言技术建立了相应的数据模式。加州学旧金山分校发布的视频显示,BRAVO1 在佩戴上脑机接口以后被问到 “你今天怎么样?” 他回答:“我很好”。还有 “你想喝点水吗?” 他的回答是,“我很好” 和 “不,我不渴。”
图 | BRAVO1 的脑机接口测试(加州学旧金山分校)
研究人员表示,该系统每分钟解码 15.2 个单词,准确率中值为 75%。从论文中可以看到,整个流程包括语言启动(prompt)、皮层信号(cortical signals)、神经信号处理(neural signal processing)、言语检测(speech detection)、词汇分类(word classification)、语言建模(language modelling)和解码回答(decoded response)等七个步骤。
带领这个研究团队的神经外科医生 Edward Chang 博士指出:“据我们所知,这是第一个成功将瘫痪失语者的脑活动直接解码成语言的例子。这说明通过介入脑的天然语言机制来恢复交流很有前景。” 他还表示,BRAVO1 只是第一个参与者,而他们正在做进一步的尝试。
图 | 实验过程示意图(来源:新英格兰医学杂志)
脑机接口的重突破和试受者们
脑机接口(Brain Computer Interface,BCI)是指在人或动物脑与外设备之间创建的直接连接,实现脑与设备的信息交换。这种信息通讯系统不依赖于外围神经和肌肉组成的传统输出通路。不同设备可采集脑活动产生的电场、磁场或血红蛋白氧合等参数,再发送到计算机进行解读。
按侵入性由浅到深和脑信号分辨率由低到高排序,目前最主流的三种脑机接口设备分别是读取头皮脑电图(EEG)的脑电帽;读取皮层脑电图(ECoG)的芯片、电极和传感器;以及读取脑组织内信号的皮质内电极(Intracortical BCI,iBCI)。
图 | 脑机接口界的明星,天线宝宝 T5(来源:IEEE Transactions on Biomedical Engineering)
勇敢的BRAVO1
与前两次重突破所使用的技术相同,此次 BRAVO1 也接受了在自己脑内植入电极的深度神经读取技术。
2019 年 2 月,BRAVO1 接受了开颅手术,医生在他左脑的感觉运动皮层(sensorimotor cortex)上方,脑膜下方放置了高密度电极列列阵。论文显示,这个电极列阵可以在 BRAVO1 脑中多个语言区域收集到信号,包括左侧前回、后回、额中后回和额下后回的一分。
开颅手术两个月之后,研究团队开始了对 BRAVO1 的实验,共分为独立单词和句子两项任务。在独立单词任务中,BRAVO1 先会看到 50 个常用单词中的一个。当屏幕上的单词变成绿色时,BRAVO1 便开始用意念 “说” 出这个单词,进而让电极记录下他的神经活动。论文称,团队共进行了 9000 次单词任务,有效数据时长为 22 个小时。
分析显示,脑机接口检测到受试者试图生成单词的概率为 98%,有 191 次未检测到 BRAVO1 的语言意图。在 81 周的研究期间,分类单词的准确率达到了 47.1% 。有趣的是,即使是在腹侧感觉运动皮层( ventral sensorimotor cortex)区域,电极位置稍有不同对解码 BRAVO1 语言功能的作用也不尽相同。因此电极的小就对解码语言的准确性产生了决定性的影响。
在句子任务中,BRAVO1 会在脑中尝试 “说出” 计算机显示的 50 个句子中的一句,接着将神经信号反馈到计算机模型中。这项任务共进行了 250 次。接下来,团队用错字率和每分钟解码的字数来衡量语言模型的准确率。报告称,使用语言建模的中位数错误率为 25.6%。对于单个句子块,观察到的最低单词错误率为 7.0%(通过语言建模)。当使用由自然语言模型随机生成的句子来测量机会表现时,中位数词错误率为 92.1%。
图 | BRAVO1 在脑中植入电极列阵的区域(来源:加州学旧金山分校)
Facebook放弃将脑机接口商业化
Facebook Reality Labs (FRL) 脑机接口项目于 2017 年,其目标为创建一个能将脑活动直接转化为文字的脑机接口系统。此次 Change Lab 的研究成果便受到了 Facebook 的资助,也是其合作项目 Project Steno 的重进展。但就在这篇论文发表的当天,Facebook 在宣传稿中宣布放弃将脑机接口产品商业化的想法,转而腕表界面。
在新闻稿中,Facebook 强调了自己对这项成果的贡献,同时强调公司将不再侵入性脑机接口:“需要说明的是,Facebook 对需要植入电极的产品没有兴趣。虽然我们仍然相信脑机接口技术的长期潜力,但我们已经决定立即将我把重点放在一款腕表可穿戴设备上。这款设备将在短期内进入市场。”
这一表态一方面反映了脑机接口和技术市场化之间存在的巨鸿沟,另一方面更加反映了外界对型科技公司进行神经读取技术商业的巨担忧。
不过对 Eddie Chang 来说,帮助残疾人提高生活质量的目标依然没有改变。他在新闻稿中表示,下一步是改进自己的系统,并在更多人身上进行测:“在硬件方面,我们需要建立分辨率更高的系统,以便更快地从脑记录更多信息。在算法方面,我们需要有能够将这些来自脑的非常复杂的信号转换成口语的系统,而不是文字。”
虽然商业话前景并不明朗,但对 BRAVO1 和更多像他一样生活在孤岛里的失语瘫痪患者来说,脑机接口技术都将是他们恢复与世界沟通的希望。
来源丨学术头条
关于腾讯AI加速器
腾讯AI加速器是腾讯产业加速器的重要组成分。其背靠腾讯产业生态投资,依托腾讯AI实验室矩阵的核心技术,腾讯云的平台、计算能力以及丰富的应用场景,为入选项目提供课程、技术、资金、生态、品牌等层面的扶持;并与入选项目共同打造行业解决方案,推动AI技术在产业中的应用落地。
AI加速器已经举办四期,过往三期在一年时间的加速中都取得了非常不错的成绩。腾讯AI加速器三期成员经过一年期加速奔跑,60%企业获得新一轮融资,全员与腾讯达成多层次联动,涉及50+产品及业务合作。在前两期AI加速器中,从全球2000+项目中甄选出的65个项目,整体估值662亿+,形成行业解决方案50+。
腾讯AI加速器四期自2019年9月启动以来,吸引全球超1000家优质AI企业报名,复试首次举办腾讯产业加速器“AI+日”,助力企业链接更多合作商机。最终TOP40入选名单于2021年1月21日出炉,入围率仅4%,聚焦垂直领域AI应用场景,覆盖工业、企业服务、文旅、零售、医疗、政务、出行、农业等11行业。腾讯AI加速器四期希望与优秀的AI企业一起,加速推进新基建在AI领域落地。