解码脑电波！华裔学者实现对脑电波进行语音输出

来源： Jacklyn luo 国际科学 2019-05-29

说话对我们普通人来说可能毫不费力，但是，你知道吗，说话却是我们身体执行的最复杂的动作之一。

而且对于阿兹海默症、帕金森症患者，他们难以张口说话，无法通过语言来表达丰富的内心世界，例如伟大的物理学家——史蒂芬·霍金，便是如此。曾经有大量科学家持续为霍金开发多套辅助交流系统，从最初的拼写板，到单键鼠标打字，再到眼部或头部红外探测器控制光标打字等，尝试过很多方法。

虽然这些工具能够一定程度上传达失语者的想法，但是它们都以拼写为基础，大多数患者每分钟仅能输出10个单词，这个速度远远低于正常人每分钟150个单词的平均速度。

因此要克服拼写速度限制，实现更高速率的传输，一种有前景的方案就是通过脑机接口直接解码大脑活动信号并合成语音。

这一方案终于获得突破。今年4月，来自加州大学旧金山分校（UCSF）神经外科学系 Gopala K. Anumanchipalli，Josh Chartier，Edward F. Chang 团队在顶级期刊《Nature》上以《Speech synthesis from neural decoding of spoken sentences》为题，发表了一项使用“两步法”从神经活动中解码语音的最新研究成果。

值得一提的是，该项研究作者之一的 Edward Chang（中文名：张复伦）是一名华裔神经外科医生。

张复伦博士

据悉，头脑中的神经信号通过循环神经网络（Recurrent Neural Network,RNN）记录，这是二十一世纪最为重要的深度学习算法。研究人员设计了一种神经解码器，采用编码将神经信号转化为嘴唇、舌头和下巴的关节运动，以合成语音。

使用基于该技术的产品，严重的失语病患可以通过大脑皮层活动就能有效地向任何人发送文字信息。

解码器的工作示意图

这项研究主要包括两个部分：解码器的设计和语音合成性能的评估。

解码器的设计上分为两个阶段：第一阶段，解码神经活动与关节运动特征的联系；第二阶段， 解码来自第一阶段解码出的发声关节活动特征与声音特征的联系，然后从解码的声音特征合成我们可以直接听懂的音频。

手持类似解码器的Gopala K. Anumanchipalli博士

科学家作为解码器之后，当然要看看这个东西的解码效果怎么样啦，因此研究者评估了解码器解码出来的音频性能~

1、为分析合成语音对真实语音的重现程度，作者首先直接比较了原始语音与合成语音的声波特征，发现神经网络解码的语音相当完整地重现了患者所述原始语句中的单个音素及音素间的自然连接和停顿（如下图）。

原始语音与合成语音的声波特征

2、研究者还让以英语为母语的人听取句子来测试虚拟语音生成器的可懂度，最终发现解码语音70% 的内容都是可理解的。下表是听众在一定词错率范围内的转录文本：

3、有趣的是，为了验证解码器是否依赖参与者的语音，研究者进行了一项对比实验：研究者请一名参与者朗读给定句子，然后默念同样的句子，相当于仅仅有发声的动作但是没有发出声音，其实很多患者更符合这种情况。通过比较朗读句子时音频、朗读句子时解码的音频以及默念时解码音频，结果表明，三者具备相似的频谱曲线。

图5 a)原始语音；b)发音时解码音谱；c)默念不发声解码音谱

尽管如此，如生物工程学教授Chethan Pandarinath等人在同期《nature》上刊发的评论中所说的，这一个系统要真正成为一个临床可行的语音脑机接口，还面临许多挑战，但毫无疑问的一点是，脑机接口技术的持续进步、深度学习技术和人工神经网络的发展让失语者自由流畅说出心声不再是梦想。

这些技术的革新与进步，不但给医学上上带来了种种福音，同时也在不断改变着人们的生活方式，提供了更多的便利。或许，哪天，我们从前所有的美好幻想，都将成为可期的现实哟~

参考文献

https://www.nature.com/articles/s41586-019-1119-1

https://www.nature.com/articles/d41586-019-01181-y

编辑/审核：Andy博士

-----------------------------------------------------------------------

《海洋生态大讲堂》微信公众号

浙江省重点智库宁波大学东海研究院合作微媒平台

海洋在说话，您我来代言！

《海洋生态大讲堂》欢迎您！

投稿邮箱：550931758@qq.com

请您在留言中标注为《海洋生态大讲堂》投稿，

并提供个人简历及联系方式。

我们筛选审核后，将以全文刊出！

热烈欢迎广大自愿者合伙参与公众号运营！

                附： 投稿类型与要求

                （1）主题一定是有关海洋生态学内容的稿件；

                （2）原创文章，请配必要的图表；

                （3）好文推荐，直接发来原文，或请注明出处；

                （4）重要会议报道或信息，请附必要图表及其标题说明；

                （5）重大项目科研进展，或重大会议学术报告PPT；

                （6）重点团队介绍，或重要人物专访。

您的赞赏是我们前行的最大动力