当前，融合视听觉与触觉信号的多模态业务已成为主流应用。为支撑多模态业务，以音视频和触觉协同传输与处理为特征的跨模态通信应运而生。有鉴于此，本文对跨模态通信技术展开详细综述。首先，介绍传统视听通信与触觉通信的代表性研究工作；接着，深入探讨跨模态通信架构、跨模态编码、跨模态传输、跨模态信号重建及相关原型系统；最后，论述研究结论与未来的研究方向。本综述对推动 6G 时代 “信息随心至，万物触手及” 的全息全感通信的实现具有重要意义。

中文标题：跨模态通信技术综述

英文原题：

Cross-modal communication technology: A survey

通讯作者：

周亮，南京邮电大学

第一作者：

魏昕，南京邮电大学

关键词：跨模态通信，多模态业务，编码，传输，信号重建

背景介绍

随着无线通信和多媒体技术的飞速发展，人类在传统视听需求之外，正日益寻求更具沉浸感和多维度的感官体验。这促使了多模态业务的出现，典型场景包括遥操作工业控制、远程医疗、沉浸式教学等。为了有效支撑多模态业务，跨模态通信技术应运而生，它能充分利用多模态业务中音频、视觉和触觉模态信号之间的潜在关联，打破模态间壁垒。通过这种方式，跨模态通信在满足低延迟、高可靠性和高吞吐量传输要求的同时，有望增强人类在上述场景中的交互和沉浸感体验。与传统多媒体通信相比，跨模态通信技术研究存在两大难点：一方面，音频、视觉和触觉模态信号之间的关联关系难以有效挖掘，而这对于在发送端和接收端实现编码与信号恢复至关重要；另一方面，动态的传输环境和受限的传输资源限制了相关传输策略的设计。

研究成果

尽管针对跨模态通信技术开展了大量研究，但尚缺少关于这一主题的全面文献综述。为填补这一空白，本综述首先回顾了传统视听通信和触觉通信方面的经典理论与代表性工作；接着，介绍了跨模态通信架构以及设计相关核心技术时的核心原则；在此基础上，阐述了其中的三大关键技术 —— 跨模态编码、跨模态传输和跨模态信号恢复，针对每种技术，都概述了现有代表性方法的特点、适用范围及其优势与局限性；最后，介绍了本团队分别针对遥操作工业控制、远程医疗、沉浸式教学等应用场景，所开发的三个跨模态通信原型系统（图1）。本综述有望推动跨模态通信的理论研究和实际应用。

引用本文

Xin Wei, Dan Wu, Liang Zhou, Mohsen Guizani. Cross-modal communication technology: A survey. Fundamental Research. 5(5) (2025) 2256-2267.

原文链接（复制到浏览器中查看）：https://www.sciencedirect.com/science/article/pii/S2667325823002297

Fundamental Research是由国家自然科学基金委员会主管、主办的综合性英文学术期刊。创刊于2021年，期刊立足反映国家自然科学基金资助的优秀成果，全方位报道世界基础研究前沿重要进展和重大创新性成果，提升中国基础研究和中国科学家在国际科学界的显示度和影响力，为中外科学家打造一个高端的国际学术交流平台。内容涵盖数学物理、化学化工、生命科学、地球科学、工程与材料科学、信息科学、管理科学、健康医学、交叉科学等领域，设置Article、Review、Highlight、Perspective、Commentary、Letter和News&Views等栏目。期刊已被ESCI、Scopus、DOAJ、PubMed、CAS（美国化学文摘社）、CSCD（中国科学引文数据库）、CSTPCD（中国科技论文与引文数据库）等国内外知名数据库收录。2024年影响因子6.3，位于综合性期刊Q1区。2024年入选中国科技期刊卓越行动计划二期英文梯队期刊项目。欢迎广大科研工作者关注、投稿、引用！

期刊主页：

www.keaipublishing.com/en/journals/fundamental-research/

文章阅读：

www.sciencedirect.com/journal/Fundamental-Research

投稿系统：

www.editorialmanager.com/fmre