【CAA期刊】《模式识别与人工智能》第36卷 第11期

⭕ “通信与多模态感知联觉机理和智能融合”专辑序言

    程翔¹

    1.北京大学 电子学院 北京 100871;

    扫码阅读:

    机器联觉:通信与多模态感知的智能融合

    程翔¹, 张浩天¹, 李思江¹, 黄子蔚¹, 杨宗辉¹, 高诗简², 白露^3,4, 张嘉楠¹, 郑心湖⁵, 杨柳青^5,6,7

    1.北京大学 电子学院 北京 100871;     2.Samsung Semiconductor, Samsung SoC Research and Development Lab, San Diego, CA 92121, USA;     3.山东省工业技术研究院 济南 250100;     4.山东大学 山东大学-南洋理工大学人工智能国际联合研究院 济南 250101;     5.香港科技大学(广州) 智能交通学域 广州 511455;     6.香港科技大学(广州) 物联网学域 广州 511455;     7.香港科技大学 电子及计算机工程学系 香港 999077

    摘要: 通信感知一体化技术局限于雷达感知与通信在频谱和硬件层面上的共享,不足以提升新兴应用场景中通信与感知的性能.在涵盖海量多模态感知和通信数据的场景中,通信感知一体化技术应向考虑多模态感知的方向进行范式演进,即通信与多模态感知的智能融合.受人类联觉现象启发,文中系统化建立并论述通信和多模态感知智能融合的范式——机器联觉.首先,总结机器联觉3种典型工作模式:唤起模式、增强模式、合作模式,系统全面给出通信和多模态感知之间相互辅助增强的目的与方式.然后,介绍机器联觉研究的数据基础(通信与多模态感知智能融合仿真数据集)和理论基础(通信与多模态感知联觉机理).最后,综述当前机器联觉的研究现状,并展望未来的研究方向.

    关键词：机器联觉(SoM),  通信感知一体化,  多模态感知,  人工神经网络,  机器联觉机理 

    引用本文:

    程翔, 张浩天, 李思江, 黄子蔚, 杨宗辉, 高诗简, 白露, 张嘉楠, 郑心湖, 杨柳青. 机器联觉:通信与多模态感知的智能融合[J]. 模式识别与人工智能, 2023, 36(11): 967-986.

    CHENG Xiang, ZHANG Haotian, LI Sijiang, HUANG Ziwei, YANG Zonghui, GAO Shijian, BAI Lu, ZHANG Jia'nan, ZHENG Xinhu, YANG Liuqing. Synesthesia of Machines Towards Intelligent Multi-modal Sensing-Communication Integration. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 967-986.

    扫码阅读:

    基于感知图像信息的无人机信道路径损耗预测

    孙铭然¹, 黄子蔚¹, 白露^2,3, 程翔¹, 张洪广⁴, 冯涛⁴

    1.北京大学 电子学院 北京 100871;     2.山东省工业技术研究院 济南 250100;     3.山东大学 山东大学-南洋理工大学人工智能国际联合研究院 济南 250101;     4.中国人民解放军军事科学院 系统工程研究院 北京 100039

    摘要: 为了更好地促进6G无人机对地通信技术的应用和发展,完善无人机对地通信系统设计理论基础及满足6G通信的安全性和有效性的需求,开展6G无人机对地通信场景下基于感知图像信息的信道路径损耗预测研究.首先,基于感知数据仿真平台AirSim和无线信道仿真软件Wireless InSite,构建动态无人机对地通信场景下的混合通信与感知智能融合数据集,为探索物理空间和电磁空间的映射关系提供重要的数据支撑.然后,基于构建的数据集,建立物理空间的感知图像信息与电磁空间的路径损耗信息之间的映射关系,实现6G无人机对地通信场景下的实时路径损耗预测.最后,通过仿真测试,将模型预测结果和测试集进行对比,验证模型的准确性.

    关键词：通信与感知融合,  路径损耗预测,  联觉机理,  无人机通信 

    引用本文:

    孙铭然, 黄子蔚, 白露, 程翔, 张洪广, 冯涛. 基于感知图像信息的无人机信道路径损耗预测[J]. 模式识别与人工智能, 2023, 36(11): 987-996. 

    SUN Mingran, HUANG Ziwei, BAI Lu, CHENG Xiang, ZHANG Hongguang, FENG Tao. Sensing Image Data Based Unmanned Aerial Vehicle Channel Path Loss Prediction. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 987-996.

    扫码阅读:

    应用于毫米波车车通信的多模态感知辅助波束预测

    文韦博¹, 张浩天¹, 高诗简², 程翔¹, 杨柳青^3,4,5

    1.北京大学 电子学院 北京 100871;     2.Samsung Semiconductor, Samsung SoC Research and Development Lab, San Diego, CA 92121, USA;     3.香港科技大学(广州) 智能交通学域 广州 511455;     4.香港科技大学(广州) 物联网学域 广州 511455;     5.香港科技大学 电子及计算机工程学系 香港 999077

    摘要: 为了确保车联网通信的传输可靠性,大规模多天线技术的毫米波通信亟需精确的波束赋形.在高动态的车辆通信环境下,传统的波束对准方式会造成巨大的资源开销,难以在相干时间内建立可靠链路.因此,文中提出基于多模态感知信息辅助的波束预测方案.该方案融合视觉和激光雷达点云两种非射频感知信息,利用深度神经网络进行多模态信息的特征提取,通过透视投影实现图像空间语义信息和物理空间位置信息的精准匹配和深度融合.通过协同感知坐标校正和车辆位置预测,将物理环境的特征精确映射到角域信道,从而实现实时准确的波束预测.在多模态感知仿真数据集(M³SC)上的测试结果表明,文中方案能实现较高的角度追踪精度和可达通信速率.

    关键词：车辆通信网络,  车车通信,  通信感知一体化,  多模态感知,  波束预测,  深度学习 

    引用本文:

    文韦博, 张浩天, 高诗简, 程翔, 杨柳青. 应用于毫米波车车通信的多模态感知辅助波束预测[J]. 模式识别与人工智能, 2023, 36(11): 997-1008. 

    WEN Weibo, ZHANG Haotian, GAO Shijian, CHENG Xiang, YANG Liuqing. Multi-modality Sensing Aided Beam Prediction for mmWave V2V Communications. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 997-1008.

    扫码阅读:

    面向道路目标检测的多模态融合语义传输

    朱增乐¹, 魏智伟², 张荣庆³, 杨柳青¹

    1.香港科技大学(广州) 智能交通学域 广州 511455;     2.同济大学 上海自主智能无人系统科学中心 上海 201210;     3.同济大学 软件学院 上海 201804

    摘要: 在长尾效应的极端场景下,多车多传感器协作感知可为车辆提供有效的感知信息,但异构数据的差异化带宽限制和不同的数据格式使车辆在处理信息时难以进行统一高效的调度.为了在有限通信带宽下实现不同车辆间多传感器信息的有机融合,文中从语义通信的角度出发,提出基于Transformer的多模态融合目标检测语义通信模型.不同于传统的数据传输方案,文中模型利用自注意力机制融合不同模态的数据,着重探究各模态数据之间的语义相关性与依赖性.在有限的通信资源下帮助车辆进行信息传递和相互协作,提高车辆对复杂路况的理解能力.在Teledyne FLIR Free ADAS Thermal数据集上的实验表明,文中模型在多模态目标检测语义通信任务中表现出色,不仅大幅提升目标检测的准确性,同时也减少一半传输代价.

    关键词：道路目标检测,  异构数据,  语义通信,  多模态融合,  自注意力机制  

    引用本文:

    朱增乐, 魏智伟, 张荣庆, 杨柳青. 面向道路目标检测的多模态融合语义传输[J]. 模式识别与人工智能, 2023, 36(11): 1009-1018. 

    ZHU Zengle, WEI Zhiwei, ZHANG Rongqing, YANG Liuqing. Multimodal Fusion-Based Semantic Transmission for Road Object Detection. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 1009-1018.

    扫码阅读:

    定位与通信受限的网联协同感知算法

    毛瑞清¹, 贾宇宽¹, 孙宇璇^1,2, 周盛¹, 牛志升¹

    1.清华大学 电子工程系 北京 100084;     2.北京交通大学 电子信息工程学院 北京 100044

    摘要: 随着车联网通信技术的不断发展,协同感知的网联自动驾驶成为未来智慧交通系统中重要的组成部分,可有效解决传统单车智能在感知和计算能力上的固有局限.然而,现有的协同感知算法大多依赖准确的定位信息进行多视角融合,往往忽略通信带宽与通信时延的约束.因此,文中提出面向定位与通信受限条件下的特征层级协同感知算法,在不依赖准确位置与位姿信息的情况下实现不同视角信息的匹配,同时对通信时延具有一定的鲁棒性,能根据信道状态动态调整通信数据量.文中算法结合传统两阶段感知范式与深度度量学习,通过传输区域特征图进行跨视角信息匹配,降低定位误差和通信时延带来的影响.同时,通过车联网通信传输的区域特征图数量可以实时在线调整通信数据量,满足不同信道条件的约束.在协同感知数据集上的实验表明,文中算法在各场景下均表现出显著的协作增益,在一定通信时延下感知精度不显著衰减,可有效降低所需传输的数据量.

    关键词：协同感知,  车联网通信,  网联自动驾驶,  度量学习

    引用本文:

    毛瑞清, 贾宇宽, 孙宇璇, 周盛, 牛志升. 定位与通信受限的网联协同感知算法[J]. 模式识别与人工智能, 2023, 36(11): 1019-1028. 

    MAO Ruiqing, JIA Yukuan, SUN Yuxuan, ZHOU Sheng, NIU Zhisheng. V2X-Enabled Cooperative Perception with Localization and Communication Constraints. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 1019-1028.

    扫码阅读:

    基于鸟瞰图的空间-通道注意力多传感器融合

    吉宇哲¹, 陈奕洁², 杨柳青^1,2, 郑心湖²

    1.香港科技大学(广州) 物联网学域 广州 511455;2.香港科技大学(广州) 智能交通学域 广州 511455

    摘要: 基于鸟瞰图(Bird's-Eye View, BEV)的目标感知算法现正成为研究热点,但少有针对BEV的多传感器融合.因此,文中提出基于空间-通道注意力的多传感器融合模块,对不同模态的特征数据增加局部注意力机制,能有效修正多传感器之间的空间误差.利用转置注意力操作,充分融合图像和点云数据,消解不同模态语义信息之间的异质性,使融合的BEV特征在不引入空间偏差的同时,有效结合多传感器各自的独特信息,实现更全面准确的感知.在nuScenes数据集上的实验以及大量的消融实验表明,文中融合模块能有效提升目标检测算法的精度,可视化结果展现融合后的特征具有更完整、准确的特征信息,可明显提升对远处物体的检测.

    关键词：鸟瞰图(BEV),  多传感器融合,  注意力机制,  目标检测 

    引用本文:

    吉宇哲, 陈奕洁, 杨柳青, 郑心湖. 基于鸟瞰图的空间-通道注意力多传感器融合[J]. 模式识别与人工智能, 2023, 36(11): 1029-1040. 

    JI Yuzhe, CHEN Yijie, YANG Liuqing, ZHENG Xinhu. Spatial-Channel Attention Multi-sensor Fusion Based on Bird's-Eye View. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 1029-1040.

    扫码阅读:

    路端多源数据空间一致性数据集构建及评估方法研究

    陈志伟¹, 张皓霖¹, 严宇宸¹, 陈仕韬¹

    1.西安交通大学 人工智能与机器人研究所 视觉信息与应用国家工程研究中心 人机混合增强智能全国重点实验室 西安 710049

    摘要: 构建多源传感数据空间一致性是路端多模态数据融合的基础,在车路协同及路端智能中发挥重要作用.然而,现有的路端多模态数据集主要侧重于目标检测等识别类任务的研究,缺少多源传感器之间的多种空间变换信息,不足以支撑路端多源数据空间一致性问题的研究.因此,文中构建一个专门用于路端多源数据空间一致性问题研究的数据集——InfraCalib(https://github.com/chenzhiwei888/InfraCali

    b-Dataset).数据集共包含23万多帧图像与点云数据,由两个路端智能移动设备采集,覆盖场景、模态、光照、设备空间位置及传感器姿态等多样变化.通过匹配特征关键点对关联多模态数据,构建PnP(Perspective-n-Point)问题,并利用最小重投影误差法解算外参矩阵,作为近似真值标签.最后,在InfraCalib数据集上进行经典特征匹配算法的实验分析,并讨论多源传感器外参标定的量化评估指标.

    关键词：多源数据空间一致性,  车路协同,  空间变换,  最小重投影误差,  评估指标

    引用本文:

    陈志伟, 张皓霖, 严宇宸, 陈仕韬. 路端多源数据空间一致性数据集构建及评估方法研究[J]. 模式识别与人工智能, 2023, 36(11): 1041-1058. 

    CHEN Zhiwei, ZHANG Haolin, YAN Yuchen, CHEN Shitao. Construction of Roadside Multi-source Data Space Consistency Dataset and Research on Evaluation Methods. Pattern Recognition and Artificial Intelligence, 2023, 36(11): 1041-1058.

    扫码阅读: