脑机接口新进展，AI辅助功能磁共振成像识别到单词级别

一组计算神经科学家报告说，一种基于人工智能（AI）的技术可以将脑部扫描转换为单词和句子。研究人员说，尽管处于早期阶段并且远非完美，但新技术最终可能会帮助脑损伤或瘫痪的人恢复沟通能力。

这项研究“表明，使用正确的方法和更好的模型，我们实际上可以解码受试者在想什么，”麻省理工学院的计算神经科学家Martin Schrimpf说，他没有参与这项工作。

Scientists use AI to decipher words and sentences from brain scans | Science | AAAS

其他研究团队已经创建了脑机接口（BCI），例如，将瘫痪患者的大脑活动翻译成文字。然而，这些方法中的大多数依赖于植入患者大脑的电极。基于脑电图（EEG）等方法的非侵入性技术，通过附着在头皮上的电极测量大脑活动，效果不佳。Schrimpf说，到目前为止，基于脑电图的BCIs只能破译短语，无法重建连贯的语言。以前的BCI通常也关注试图说话或思考说话的人，因此它们依赖于参与产生与语音相关的运动的大脑区域，并且仅在一个人移动或试图移动时才起作用。

现在，德克萨斯大学奥斯汀分校的计算神经科学家Alexander Huth及其同事开发了一种基于功能磁共振成像（fMRI）的BCI，可以更直接地进入大脑的语言产生区域，以破译想象中的语音。这种非侵入性方法通常用于神经科学研究，跟踪大脑内血流的变化以测量神经活动。

fMRI基本原理是根据神经活动促进局部脑血流供应，导致血流供应超过氧气消耗，是因为去氧血红蛋白和氧血红蛋白的磁信号不同，因此磁共振能对局部脑血流过剩进行清楚识别。因此fMRI本质上是用血流信号代表神经活动的一种检测技术。优点是进行无创检测，缺点是时间和空间分辨率比较低。但是AI可以对模式进行更理想的识别，明显解决这个不足。

与所有BCI一样，目标是将每个单词，短语或句子与其唤起的特定大脑活动模式相关联。为了收集必要的数据，研究人员扫描了三名参与者的大脑，同时每个人收听了大约16个小时的故事播客，如The Moth Radio Hour和The New York Times's Modern Love。利用这些数据，研究人员为每个受试者制作了一组地图，指定了人的大脑在听到某个单词、短语或含义时的反应。Huth说，因为fMRI需要几秒钟来记录大脑活动，所以它捕获的不是每个特定的单词，而是每个短语和句子的一般想法。他的团队使用功能磁共振成像数据来训练人工智能，以预测某个人的大脑对语言的反应。

最初，该系统努力将脑部扫描转化为语言。但随后研究人员还结合了自然语言模型GPT来预测一个单词可能接一个。使用从扫描和语言模型生成的地图，他们通过不同的可能短语和句子，看看预测的大脑活动是否与实际的大脑活动相匹配。如果是这样，他们保留了这句话，然后继续下一个。

之后，受试者收听培训中未使用的播客。渐渐地，系统产生了单词、短语和句子，最终产生了与人所听到的内容相匹配的想法。这项技术特别擅长理解故事的要点，即使它并不总是把每个字都做好。

当受试者讲故事或看视频时，它也有效。在一项实验中，参与者在没有任何声音的情况下观看电影，同时系统试图解码他们在想什么。当一个人观看一部龙将某人踢倒的动画电影时，系统喷出：“他把我打倒在地。所有这一切都是在没有要求参与者发言的情况下发生的。“这确实表明，我们在这里得到的不仅仅是语言，”Huth说。“[系统]在思想层面上起作用。

有朝一日，该系统可以帮助那些因脑损伤、中风或闭锁综合症而失去沟通能力的人，闭锁综合症是一种瘫痪，其中个人有意识但瘫痪。然而，这不仅需要通过使用更多的训练数据来推进技术，还需要使其更易于访问。基于fMRI使得系统使用起来既昂贵又麻烦，但Huth说，该团队的目标是能够通过更简单，更便携的成像技术（如EEG）来做到这一点。

虽然它远不能解码现实世界中的自发思想，但这一进展引起了人们的担忧，即随着技术的改进，该技术可能会模仿某种类型的读心术。“当我们真正完成这项工作时，我们的想法是，'哦，天哪，这有点可怕，'”Huth回忆道。为了开始解决这些问题，作者测试了在一个人身上训练的解码器是否适用于另一个人 - 它没有。同意和合作似乎也很关键，因为如果个人抵制，通过执行计数等任务而不是关注播客，系统就无法从他们的大脑活动中解码任何意义。

即便如此，隐私仍然是这类神经技术的一个重大伦理问题，杜克大学生物伦理学家Nita Farahany说。研究人员应该检查他们工作的影响，并尽早制定防止滥用的保障措施。“我们需要每个人都参与进来，确保以合乎道德的方式实现这一目标，”她说。“[这项技术]对于那些需要能够再次沟通的人来说可能真的是变革性的，但对我们其他人的影响是深远的。