||
2023年10月30日,《自然—神经科学》杂志在线发表了美国科学家的一项最新研究成果。
加州大学旧金山分校Edward F. Chang研究组利用语音深度神经网络剖析了人类听觉通路的神经计算。
研究人员介绍,人类听觉系统从语音信号中提取丰富的语言抽象。理解这一复杂过程的传统方法采用线性特征编码模型,但成效有限。人工神经网络在语音识别任务中表现出色,为语音处理提供了前景广阔的计算模型。
研究人员使用最先进的深度神经网络(DNN)模型中的语音表征来研究了从听觉神经到语音皮层的神经编码。深度神经网络分层表征与整个上升听觉系统的神经活动密切相关。无监督语音模型的表现至少与其他纯监督或微调模型相当。
较深的DNN层与高阶听觉皮层的神经活动有更好的相关性,其计算与语音中的音位和音节结构一致。因此,以英语或普通话训练的DNN模型可以预测每种语言的母语使用者的大脑皮层反应。这些结果揭示了DNN模型表征与生物听觉通路之间的趋同性,并为听觉皮层神经编码建模提供了新方法。
相关论文信息:
https://doi.org/10.1038/s41593-023-01468-4
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-13 16:47
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社