图卷积网络融合脑电与肌电用于上肢运动意图识别

郑鲁州¹，赵昶辰¹，张超²，程世超¹，张建海¹

（1. 杭州电子科技大学 计算机学院，杭州310018；2. 浙江中医药大学附属第一医院（浙江省中医院），杭州310018） 

摘要：随着传感器和算法的不断进步，越来越多的深度学习方法被应用于利用多模态生理信号进行精细化的上肢运动意图识别。然而，如何有效且可量化地整合脑电（EEG）与肌电（EMG）信号通道之间，以及脑电信号通道内部的相关性，仍然是提升识别性能的一大挑战。本文提出了一种神经网络结构，通过融合脑电和肌电信号，实现对上肢运动意图的准确预测。首先，将原始输入信号输入至特征提取模块，实现通道维度上的特征分解。其次，提出了一种边权可学习的图卷积模块，用于自适应学习不同模态之间的相关性。第三，设计了一种自注意力图池化模块，通过自注意力机制计算每个节点的注意力分数，作为池化的依据；相比采用均值或最大值的计算方法，该方法能更有效地保留与运动意图相关性更强的节点。最后，通过分类器得到最终预测结果。我们在一个公开的多模态上肢数据集上验证了该方法的有效性，准确率达到 93.17%。

关键词：运动意图识别，图卷积网络，脑电图，肌电图，多模态    

扫二维码浏览全文 

Cite this article

Zheng, L., Zhao, C., Zhang, C. et al. Graph Convolution Network with EEG-EMG Fusion for Upper Limb Motion Intention Recognition. J. Shanghai Jiaotong Univ. (Sci.) (2025). https://doi.org/10.1007/s12204-025-2856-y