通往元宇宙的入口：全息显示“打通”虚拟和现实世界

《激光与光电子学进展》于2022年第20期（10月）推出“VR/AR显示技术及应用”专题，本封面为上海理工大学庄松林院士、张大伟教授、常琛亮教授团队的特邀综述“面向视觉舒适度的全息近眼显示研究综述”。

论文总结了全息近眼显示技术在动眼框、视场角、散斑噪声、三维波前计算和全彩色显示等有关视觉舒适度方面的研究进展，展望了全息近眼显示技术在未来的潜在应用场景。

封面解读：

本封面形象展示了基于全息近眼显示技术的VR/AR设备在博物馆展览中的应用示例。入射光束经过特殊设计的全息图进行波前调制后，通过衍射传播的方式在人眼前方再现出虚拟的光学全息真三维图像。三维图像与周围环境进行虚实融合后，观察者获得具有真实临场感和沉浸式的真三维观看体验。

文章链接：常琛亮, 戴博, 夏军, 张大伟, 庄松林. 面向视觉舒适度的全息近眼显示研究综述[J]. 激光与光电子学进展, 2022, 59(20): 2011001

一 、背景介绍

虚拟现实（VR）和增强现实（AR）能够为人眼再现出一个高度逼真的虚拟世界，提供身临其境和虚实交互的全新观看体验。VR/AR设备目前主要以提供二维平面图像显示为主，无法提供具有高临场感和沉浸感的真三维观看效果，且观看视场角狭小，再现的虚拟图像也无法达到较为理想的显示质量，这些问题都严重影响了VR/AR设备的观看舒适度。全息显示能够完全记录和再现三维光波信息，为人眼提供观看所需的所有三维视觉线索，被认为是下一代真三维近眼显示的终极解决方案，有望实现高舒适度的VR/AR观看效果。下文将从全息显示中的动眼框、视场角、散斑噪声、三维波前调控精度等方面分析其对观看舒适度的影响以及潜在的优化方法。

图1 结合全息AR技术的5G通话实现“大变活人”

二、动眼框和视场角（空间带宽积）

显示全息图的空间光调制器（SLM）的分辨率通常为2k或4k，这使得全息显示的动眼框被限制在毫米尺度的观看范围，视场角被限制在10°以内。动眼框面积的拓展可以使用特殊设计的全息衍射元件（HOE）对出瞳波前进行空间复制和拼接[1]（如图2），或结合瞳孔追踪技术根据不同时刻瞳孔所处的位置对动眼框的波前进行时序移动拼接。观看视场角的扩展则通过对全息图像素进行共轭缩放或引入倾斜角度照明来实现。然而无论是动眼框还是视场角的提升都要以牺牲其中的另一个指标作为代价。

图2 通过波前复制实现动眼框扩展[1]

若要实现动眼框和视场角的同时提升，需要增加系统的空间带宽积（即SLM的像素数目）。时间复用法利用多帧全息图在时间上先后显示图像的不同内容进行拼接来实现空间带宽积的扩展，但扩展效果受限于器件的调制帧率。基于亚波长微纳结构的超表面材料可以实现比普通SLM更小（约300nm）的像素化单元，因此可以设计更多的像素数目来扩展空间带宽积。在动态SLM之后添加额外的伪随机衍射元件可以打破原阵列像素化SLM的周期性衍射规律，大幅增加衍射光束的频带宽度和衍射角。新兴的带宽积扩展方法将成为未来全息近眼显示光学设计的重要研究方向。

三、散斑噪声

全息显示是基于相干衍射和干涉原理对光波前进行调控和重建。高相干性光波在重建中由于相消干涉的影响产生了显著的散斑噪声。散斑噪声的抑制通常采用噪声平均和相干性抑制两种主流技术路线。

在噪声平均法中，按时间顺序依次显示多个具有不同独立散斑噪声的重建图像，在高速显示的条件下，利用人眼视网膜对多个图像光信号的停留效应，在光信号停留时间内将多个具有不同随机强度特性的散斑噪声图像在视网膜上进行强度平均，这样可以将不同图像中不相关的散斑噪声图案进行匀化处理，降低图像的散斑对比度，有效抑制所显示的内容的散斑噪声。

相干性抑制法又可以根据空间相干性和时间相干性进一步分为复振幅调制法和弱相干照明法。光栅编码法是常用的复振幅编码方法，将全息图的复振幅波前通过一定的算法直接编码到纯相位光栅中作为相位全息图。在全息图重建时使用空间滤波系统进行选择性滤波后便可将所需的目标复振幅波前完全恢复重建。弱相干照明法则是采用部分相干光源（即足够窄的波段并且具有较小的发射面积）进行照明，在光源后增加额外的空间滤波来增强光源的空间相干性，利用光源较弱的时间相干性来抑制散斑噪声。

全息图像的噪声抑制还需要进一步将物理光学系统加入到了全息图优化算法中，将在真实光学系统中重建的全息图像与理想的目标图像进行比较后对全息图进行优化，使全息图朝着减少真实光学重建图像与理想目标图像之间误差的方向进行更新，根据该优化策略最终得到的全息图将在光学系统中显示出非常高质量的全息图像[2]，如图3所示。

图3 基于光学重建图像反馈的全息图优化[2]

四、三维模型的波前计算

为了方便高效地计算三维物体到全息图平面的衍射传播，通常将三维目标以几何模型和图像模型两种数据形式进行表征和存储。几何模型通常包含点云模型和多边形模型，前者将三维物体看成是由大量单独发射的离散点光源组成，通过计算所有点光源衍射波前的相干叠加来得到全息面上的波前信息。后者则将三维物体利用微小的多边形进行模拟，每个小多边形作为单独的发光面发出光波。点云模型由于其逐点衍射计算的特点而导致计算效率很低。多边形模型数据则对三维物体形貌的依赖程度较高。

图像模型分为多平面模型和光场模型。多平面模型将目标场景内容近似量化为多个位于不同深度的二维平面图像，从而对衍射计算过程进行了高效的简化[3]（如图4），配合先进的人工智能算法可以在普通消费级硬件上实现全息图的实时计算生成。光场模型反应了对目标光线信息的收集，根据平面波的角谱衍射理论建立光线信息和全息图波前信息的转化关系。图像模型在渲染、存储和计算方面具有一定的优势，有利于提升全息显示的真实感与视觉感受，近年来逐渐成为了全息图计算的主要三维数据源。

图4 基于多平面模型的全息图计算和显示[3]

五、全彩色显示

全彩色全息显示对于提升人眼的观看体验是十分重要的。采用时间复用法和空间复用法可以将红绿蓝三基色的全息图像进行融合后实现彩色显示。时间复用法通常在一个空间光调制器上按时间顺序快速显示红绿蓝三基色的全息图，人眼将三色图像进行非相干的强度混合后合成出彩色的图像[4]，如图5所示。空间复用法则是通过特殊的算法将红绿蓝三色分量的全息波前信息编码到一张全息图中，并配合特定的光路设计将红绿蓝三色分量的重建图像同时显示在空间中的同一位置进行彩色图像的融合。

图5 时间复用法实现全彩色全息近眼显示[4]

六、总结和展望

未来已“来”。随着VR/AR市场需求的不断增加，推动全息近眼显示技术从基础研究走向应用化道路是十分重要且艰巨的任务。在未来的研究中，时空带宽积扩展、散斑噪声抑制、全息图高效实时生成、以及新型波前调制器件等方向将会成为解决全息近眼显示瓶颈问题的重要研究方向。

参考文献

1. Choi M-H, Ju Y-G, Park J-H. Holographic near-eye display with continuously expanded eyebox using two-dimensional replication and angular spectrum wrapping[J]. Optics Express, 2020, 28(1): 533–547.

2. Peng Y, Choi S, Padmanaban N, et al. Neural holography with camera-in-the-loop training[J]. ACM Transactions on Graphics, 2020, 39(6): 1–14.

3. Chen J-S, Chu D P. Improved layer-based method for rapid hologram generation and real-time interactive holographic display applications[J]. Optics Express, 2015, 23(14): 18143–18155.

Lee B, Kim D, Lee S, et al. High-contrast, speckle-free, true 3D holography via binary CGH optimization[J]. Scientific Reports, 2022, 12(1): 2811.

作者介绍

常琛亮，上海理工大学特聘教授，主要从事计算全息、三维显示、光场调控等方面的研究。在Optica、Photonics Research、Optics Letters、Optics Express等期刊发表论文50余篇，获授权发明专利8项。主持国家自然科学基金、上海市自然科学基金，并参与国家863、973、科技创新2030等项目。曾在美国密歇根大学、伊利诺伊大学、加州大学洛杉矶分校从事研究工作。

课题组介绍

上海理工大学庄松林院士和张大伟教授领导的研究团队长期致力于全息光学、衍射光学、微纳光子学、计算成像等方向的理论研究和应用开发。承担了国家科学仪器重大专项，国家863 计划、国家重点研发计划等项目。研制了多款用于波前调制的高精密衍射器件。研究成果获教育部技术发明二等奖、中国机械工业科学技术二等奖、上海市科技进步一等奖，团队先后发表 SCI 学术论文100余篇，获得国家专利50余项。