数据是驱动深度学习的三大要素之一，然而数据稀缺、标注成本高、数据隐私等问题困扰着深度学习的应用。Virtual-to-Real方法通过生成虚拟数据进而辅助实际应用，是弥补数据不足的重要途径。近年来，以合成（Syn2Real）及模拟（Sim2Real）为代表的各类Virtual-to-Real方法，在机器学习各个领域广泛应用并迅速发展。但是，在机器学习各个领域，V2R存在着概念不清晰、分类不系统、理论不完善、发展不平衡等问题，为领域间相互促进、初学者快速入门造成了困难。

中科院自动化所吕宜生研究员及中国科学院大学人工智能学院缪青海副教授等人最新相关研究成果发表于IEEE/CAA Journal of Automatica Sincia 2023年第十卷第三期：Q. H. Miao, Y. S. Lv, M. Huang, X. Wang, and F.-Y. Wang, “Parallel learning: Overview and perspective for computational learning across Syn2Real and Sim2Real,” IEEE/CAA J. Autom. Sinica, vol. 10, no. 3, pp. 603–631, Mar. 2023. doi:  10.1109/JAS.2023.123375.

本文涵盖计算机视觉、自然语言处理、机器人、自动驾驶等四个主要领域，基于平行学习框架提出Virtual-to-Real层次化分类法，从描述、预测和引导三个角度出发，着重分析总结现有方法的特点、讨论现有方法的不足和未来的发展方向。

图1 文献综述总览：涵盖4个领域11个方向

1) 领域范围

有关Virtual-to-Real的文献综述少并且局限于某个单独的领域，例如视觉或机器人。为更好的分析各个领域中Virtual-to-Real方法，促进领域间的相互交流和启发，如图1所示，本文综述了机器学习中计算机视觉、自然语言处理、机器人、自动驾驶等四个主要领域近5年发表的160多篇高水平文献。

2) 分类体系

平行学习以虚实交互为基础，将学习过程构建于描述、预测、引导闭环流程之上，为Virtual-to-Real方法的分析和设计提供了理论和框架。本文对文献的分析从平行学习三个角度切入：a）描述学习（Descriptive Learning），目标是建立现实问题的虚拟表示，为生成虚拟数据构建数字化基础。如图2所示，本文基于多维度数据映射关系，系统地分析了虚拟数据生成的现有方法和可能途径。介绍了虚拟数据生成的技术、工具、数据集等，讨论了Domain Gap等公开问题。b）预测学习（Predictive Learning），介绍具体所使用的机器学习模型、评价指标、优化方法等。c）引导学习（Prescriptive Learning）是平行学习最突出的特点。引导学习将预测结果反馈到描述学习，从而实现虚拟数据生成方法的闭环优化，人的经验、专家的知识亦可通过引导融入学习的过程，提高数据质量和学习效率。

图2 虚拟数据生成维度映射关系

3) 分析对比

本文将文献按照计算机视觉、自然语言处理、机器人、自动驾驶进行分类对比分析，通过9个表（表1为例）对文献出处、具体任务、真实数据集、虚拟数据集、虚拟数据生成工具（技术）、领域适应方法、机器学习模型、优化方法、评价指标、综合特点等要素进行刻画描述，并通过10个图辅助读者直观理解。

表1 面向视觉分类任务的Virtual-to-Real文献分析比较

4) 未来展望

通过对文献的综合分析可以看出Virtual-to-Real正快速发展，但也存在各种问题。例如，Domain Gap问题、虚拟数据的质量问题、学习效率问题等，都有待进一步深入研究。同时，我们也看到目前新技术发展，也为Virtual-to-Real方法的发展带来机遇。例如，基于多模态大模型的扩散模型、AIGC技术等将是虚拟数据生成的有力工具。此外，基于领域知识融入的闭环反馈引导学习，是高质量Virtual-to-Real的重要研究方向。

缪青海，中国科学院大学人工智能学院副教授。研究领域包括平行智能系统、大规模并行模拟、虚拟现实等。

吕宜生，中国科学院自动化研究所研究员。研究领域包括人工智能、自动驾驶和智能交通系统等。

黄   敏，中国科学院大学人工智能学院副教授。研究兴趣包括图像处理、知识工程、大数据和深度学习。

王飞跃，复杂系统管理与控制国家重点实验室主任。研究领域包括平行智能、社会计算、区块链、智能控制。