随着遥感技术的快速发展，高光谱影像 (HSI) 与激光雷达 (LiDAR) 数据的融合分类已成为提升地物识别精度的重要研究方向。高光谱影像能够提供丰富的光谱信息，有效区分不同材质的地物，但在面对光谱特征相似而空间或高程差异显著的目标时，其分类性能受到限制。相比之下，LiDAR数据能够提供准确的高程信息，弥补高光谱影像在空间结构表达方面的不足。因此，将HSI与LiDAR数据进行融合，有望充分发挥各自优势，实现更为精确的地物分类。

近年来，深度学习在遥感图像处理领域取得了显著进展，尤其是卷积神经网络 (CNN) 和视觉变换模型 (ViT) 的广泛应用，极大地推动了高光谱与LiDAR融合分类的研究。然而，现有方法仍面临诸多挑战：CNN结构在提取局部特征方面表现优异，但难以建模全局上下文信息；ViT虽具备强大的全局建模能力，却在局部特征提取方面存在不足。此外，多源数据融合过程中，如何有效处理不同模态间的语义差异与特征漂移问题，仍是制约分类性能提升的关键瓶颈。鉴于此，来自中国科学院的徐海涛博士及其研究团队创新性提出了一种联合卷积交叉视觉变换网络，旨在通过多尺度卷积与交叉注意力机制的有机结合，实现高光谱与LiDAR数据的深度特征提取与高效融合，进而显著提升遥感图像的分类精度与鲁棒性。

研究过程与结果

本研究聚焦于高光谱与激光雷达数据融合分类中的关键挑战，包括高光谱图像在“同谱异物”情况下的识别困难，以及现有深度学习方法在全局与局部特征建模上的不足，提出了一种新颖的联合卷积交叉视觉变换网络 (Joint Convolutional Cross ViT)，通过构建多分支交互式特征提取结构，分别处理高光谱图像的光谱特征、空间特征以及LiDAR数据的高程信息。作者设计了一个关键模块——多尺度卷积变换块 (Multi-Conv-Former Block, MCFB)，该模块融合了多尺度卷积操作与Transformer结构，既能有效提取图像的局部细节特征，又能建模全局上下文信息，从而实现局部与全局特征的联合感知。此外，为了进一步提升多源数据的融合效果，作者还提出了交叉标记融合模块 (Cross-Token Fusion Module, CTFM)，通过非局部交叉注意力机制，对不同模态提取的特征进行深度融合，显著减少了特征间的语义差异与漂移问题。同时，为降低高维特征融合的计算复杂度，研究引入了类标记 (class token) 机制，使得网络在保持高分类精度的同时，具备更高的计算效率与可扩展性。

在实验部分，作者在三个公开的遥感数据集 (Houston2013、Trento和MUUFL) 上对所提出的方法进行了系统评估，并与多种当前主流的分类方法进行了对比，包括传统的CNN方法 (如CNN-PPF、3D CNN)、双分支网络 (Two-Branch)、耦合CNN (Couple CNN)、分层随机游走网络 (HRWN) 以及基于Transformer的方法 (如ViT、SpectralFormer)。实验结果表明，本文提出的融合分类框架在总体分类精度 (OA)、平均分类精度 (AA) 以及Kappa系数等多个评价指标上均显著优于现有最先进的方法，分类精度提升约1%至3%。尤其在部分地物类别 (如道路、铁路、建筑等) 上，所提出方法的单类分类精度提升更为显著。此外，通过可视化分类图可以发现，本文方法在边界识别、小目标提取以及复杂地物分布区域的表现明显优于其他对比方法，展现出更强的空间细节捕捉能力与分类鲁棒性。

图1. 所提出算法的整体网络框架图，其中包含多个数据流处理过程：光谱特征提取、空间特征提取以及LiDAR高程特征提取。图中“T”表示类别标记 (class token)，“concat”表示特征拼接操作。

为进一步验证所提出方法中各个模块的有效性，作者还开展了一系列消融实验。实验结果显示，多尺度特征提取相比单尺度方法OA提升最高达3.2%；交叉融合模块较传统拼接融合方法OA提升最高达3.76%；而HSI与LiDAR联合输入显著优于单一模态，充分证明了多源融合在提升分类性能方面的关键作用。

研究总结

本文提出的联合卷积交叉视觉变换网络不仅在分类精度上取得了突破性进展，而且在复杂场景下的适应性与鲁棒性方面也表现出明显优势。该研究为解决高光谱与LiDAR数据融合分类中的关键问题提供了新的思路与技术路径，也为未来多模态遥感图像的智能解译与工程应用奠定了坚实的理论与方法基础。

原文出自Remote Sensing 期刊：https://www.mdpi.com/2655122

Remote Sensing 期刊介绍

主编：Prasad S. Thenkabail, USGS Western Geographic Science Center (WGSC), USA

期刊范围涵盖遥感科学所有领域，从传感器的设计、验证和校准，到遥感在地球科学、环境生态、城市建筑等各方面的广泛应用。

2024 Impact Factor：4.1

2024 CiteScore：8.6

Time to First Decision：24.9 Days

Acceptance to Publication：2.5 Days