语音是人类交流的重要方式，但说话人健康状态（例如神经疾病、癌症、外伤等原因导致的声音障碍）和周围环境（噪音干扰、传播介质）往往会影响声音的传输和识别——这是一直以来困扰语音识别与交互的难题：非理想声源。具体形式为弱语音、非标准语音等；传输介质干扰。体现在外部噪声、传输衰减、介质空间多样性等方面。研究人员一直在改进语音识别和交互技术以应对微弱的声源或嘈杂的环境，现有的人类语音处理技术（HLP）普遍基于非接触式声学传感器采集的语音数据开发，尚未很好地利用喉部发声器官本身精细的机械信号。同时，目前尚无充分证据表明喉部肌肉运动模式和反映在体表发声器官振动中隐含着可识别的语音特征。

为深入挖掘喉部机械振动与可识别语音之间的内在联系，任天令教授团队于2017年首次研发出可感知喉部皮肤运动的第一代石墨烯人工喉，随后在第二代器件中优化了器件佩戴体验。但尚未验证人工喉用作语音识别功能是否完备。在前期工作基础上，任天令教授团队成员开创了一种基于智能可穿戴人工喉（AT）语音识别/交互新范式（图1）。

同商业麦克风和压电薄膜相比，人工喉对低频的肌肉运动、中频食管振动和高频声波信息敏感（图2）。由于与皮肤保持共形接触，人工喉能够获取高质量的原始语音与声源器官运动的混合模态信号，同时也具有抗噪声的语音感知能力（图2）。对声学信号和机械运动的混合模态感知使人工喉能够获得更低的语音基频信号（F0）（图3）。此外，该器件还可以通过热声效应实现声音播放功能。人工喉的制作过程简单，性能稳定，易于集成，为语音识别和交互提供了一种新的硬件平台。

任天令教授团队利用人工智能模型，对人工喉感知的信号进行语音识别和合成，实现了对基本语音元素（音素、声调和词语）的高精度识别，以及对喉癌患者模糊语音的识别与再现，为声音障碍者的沟通和交互提供了一种创新的解决方案。实验结果表明，人工喉采集的混合模态语音信号可以识别基本语音元素(音素、音调和单词)，平均准确率为99.05%。同时人工喉的抗噪声性能明显优于麦克风，在60 dB以上环境噪声下仍能保持识别能力。任天令教授研究团队进一步演示了其语音交互式应用。通过集成AI模型，人工喉能够识别一名喉切除术患者模糊说出的日常词汇，准确率超过90%。识别出的内容被合成为语音在人工喉上播放，可以初步恢复患者的语音交流能力。

图4. 使用智能可穿戴人工喉进行无声语音交互。

上述相关成果以“使用可穿戴人工喉的混合模态语音识别与交互”（Mixed-modality speech recognition and interaction using a wearable artificial throat）为题，于2023年2月24日在线发表在《自然·机器智能》（Nature Machine Intelligence）上。论文通讯作者为清华大学集成电路学院任天令教授、田禾副教授、杨轶副教授和上海交通大学医学院罗清泉教授，清华大学集成电路学院2019级博士生杨其晟、上海交通大学医学院2019级博士生金伟秋为共同第一作者。该项目得到了国家自然科学基金委、科技部、教育部霍英东基金、北京市自然基金委、清华大学国强研究院、清华大学佛山先进制造研究院、清华大学-丰田联合研究院、清华-华发建筑光电子技术联合研究院等项目的支持。

通讯作者

任天令，清华大学信息科学技术学院副院长，教育部长江学者特聘教授，国家杰出青年基金获得者，博士生导师。

通讯作者

田禾，清华大学集成电路学院副教授，集成纳电子所副所长，博士生导师。

通讯作者

杨轶，清华大学集成电路学院副教授，集成电路学院党委副书记，博士生导师。

通讯作者

罗清泉，主任医师，现任上海市肺部肿瘤临床医学中心常务副主任，上海交通大学博士生导师，国务院特殊津贴专家。

详情请点击论文链接：