在遥感大数据与人工智能深度融合的时代背景下，深度学习技术已广泛应用于资源勘探、环境监测、精准农业、军事侦察等领域。然而，传统深度神经网络 (DNN) 严重依赖人工标注数据，且通常只能针对单一任务进行训练，难以满足遥感应用对多任务、多模态智能解译的需求。近年来，基础模型 (Foundation Models, FMs) 作为人工智能领域的重要突破，通过从海量多模态数据中学习丰富特征，实现了单一模型对多种视觉任务的零样本预测能力，为解决遥感图像标注稀缺问题提供了新思路。

图1. 用于自然图像和遥感图像视觉任务的基础模型流程图。

• 主要研究内容以及发现

该综述从基础模型的预训练策略、微调技术与适配方法出发，全面回顾了四大类基础模型在遥感领域的应用：

1. 视觉基础模型 (Vision Foundation Models)

研究团队详细分析了基于Vision Transformer (ViT)、卷积神经网络 (CNN) 以及新兴Mamba架构的视觉基础模型。特别值得关注的是，Mamba模型凭借其线性复杂度的状态空间建模能力，在高分辨率遥感图像处理中展现出独特优势。文中列举了HSIDMamba(高光谱去噪)、Pan-Mamba (全色锐化)、ChangeMamba (变化检测) 等十余种遥感专用Mamba模型，证实其在长序列建模任务上的卓越性能。

2. 文本提示基础模型 (Textually Prompted FMs)

该类模型将传统遥感任务重新定义为开放词汇识别问题。代表性工作包括RemoteCLIP (首个遥感视觉-语言基础模型)、EarthGPT (多模态大语言模型)、SkyEyeGPT (统一遥感视觉-语言理解模型) 等。这些模型通过图像-文本对齐学习，实现了零样本场景分类、视觉定位、图像描述生成等新功能。

3. 视觉提示基础模型 (Visually Prompted FMs)

以Segment Anything Model (SAM) 为代表的视觉提示模型在遥感图像分割领域引发广泛关注。研究团队总结了SAM与CLIP结合的“预SAM”和“后SAM”两种策略，并介绍了RSBuilding (建筑物提取)、SAM-Road (道路网络提取)、RSPrompter (实例分割) 等典型应用，证实基础模型在减少人工标注依赖方面的巨大潜力。

4. 异构基础模型 (Heterogeneous FMs)

遥感异构基础模型目前较少。

图2.最新的基础模型 (里程碑式模型以红色标标注)

通过对现有研究的系统分析，研究团队总结出遥感基础模型面临的三大核心挑战：

数据层面：遥感数据存在显著的多模态异质性 (光学、SAR、高光谱等)、空间分辨率差异及观测视角变化，加之高质量多模态标注数据稀缺，制约了基础模型的泛化能力。同一模型 (SkySense) 在不同变化检测数据集 (LEVIR-CD与OS-CD) 上的性能差异可达30%以上。

模型层面：现有架构难以充分捕捉遥感图像特有的地理先验知识与物理约束；在属性推理、评估推理等高级语义理解任务上，主流模型表现甚至低于随机猜测水平；模型规模与计算效率的矛盾也限制了在实时处理等场景的应用。

应用层面：遥感任务面临目标尺度变化大、视角差异显著、传感器特性复杂等特有困难，且现有研究多针对单一任务独立优化，缺乏多任务协同学习的系统性探索。

基于上述挑战，研究团队提出了八个重点发展方向：

多模态标注增强

领域专用架构设计

认知启发的模型增强

域自适应技术

多任务协同学习

自适应提示学习

模型评估体系

模型压缩优化

• 研究意义与展望

基础模型已成为遥感领域的热门话题，并在各类遥感任务中初步展现出广阔的应用前景。然而，遥感图像与自然图像之间的本质差异，使得通用基础模型在遥感图像上的应用受到限制。本文首先回顾了基础模型的通用技术，随后对遥感基础模型进行了系统性综述，并探讨了当前技术的局限性以及未来的发展方向。

阅读英文原文：https://www.mdpi.com/2072-4292/17/2/179

• Remote Sensing 期刊介绍

主编：Prasad S. Thenkabail, USGS Western Geographic Science Center (WGSC), USA

期刊范围涵盖遥感科学所有领域，从传感器的设计、验证和校准，到遥感在地球科学、环境生态、城市建筑等各方面的广泛应用。

2024 Impact Factor：4.1

2024 CiteScore：8.6

Time to First Decision：24.3 Days

Acceptance to Publication：2.6 Days

期刊主页：https://www.mdpi.com/journal/remotesensing