虚拟现实技术(virtual reality, VR), 是利用计算机模拟产生的三维空间, 提供使用者视觉、听觉、触觉等感官的模拟, 让使用者如同身临其境一般体验虚拟的世界. 虽然人类对世界的感知是多感官协同作用的过程, 但人所接收的信息绝大多数来源于视觉, 人对图像的敏锐程度也远高于听觉、嗅觉或者触觉. 在虚拟现实中, 要实现高沉浸感, 关键在于虚拟图像的显示.

北京理工大学的王涌天教授针对当今虚拟现实领域所涉及的主要显示技术, 对每种技术的原理和特点进行了分析、比较和总结. 特别地, 对当前虚拟现实的最主流显示方式, 即头盔显示器, 进行了详细的分析, 并通过头盔显示技术的演变阐述当前显示技术所致力解决的问题与期望达到的目标. 最后对虚拟现实中显示技术的未来发展趋势进行了展望. 该文发表在《中国科学 信息科学》2016年第12期“虚拟现实纵览”专刊中.

王涌天, 程德文, 许晨. 虚拟现实光学显示技术. 中国科学: 信息科学, 2016, 46: 1694-1710

1 虚拟现实图像显示的要求

虚拟现实中的显示技术需要服务于虚拟现实的目的, 即营造一种逼真的虚拟环境, 让用户具有很好的沉浸感. 沉浸感是用户感觉到的虚拟环境的真实程度, 良好的沉浸感会使得用户难以分辨环境的真假. 需要从人眼视觉特性着手, 人眼的单目视场角为水平150°, 竖直120°, 两只眼睛的视场只有部分重合, 重合区域为50° 至60°. 同时, 人眼的分辨率由视场中心到边缘迅速下降. 另外, 两眼观察同一景物时, 由于左右眼位置的区别, 每只眼睛的视角会有所差别, 双眼的视差会使得大脑获得物体的深度信息. 所以, 作为虚拟现实的显示设备, 应当具有与人眼类似的视场角、良好的显示效果(足够的分辨率和色彩显示性能), 并且能够在一定程度上满足人眼立体视觉的特性.

2 头盔式虚拟现实显示系统

头盔显示系统(head-mounted display, HMD) 是最为典型的虚拟现实显示系统, 也是目前应用最为广泛的虚拟现实显示系统, 它是指佩戴在用户头部, 可以随着用户移动和转动, 并且向用户眼睛显示图像信息的设备. 头盔显示系统的分类是多样的. 按照所采用显示器的大小可以分为采用微显示器的头盔显示系统与采用较大显示器的头盔显示系统. 按照物像关系可以分为目镜式头盔显示系统与非成像式头盔显示系统, 大多数头盔显示器中的微显示器与用户眼底具有物像关系, 属于前者, 而视网膜投影(扫描) 头盔以及光场显示头盔则不是. 按照立体感的程度划分, 常见的头盔显示器利用左右眼双目视差形成立体感, 而多焦面头盔、视网膜投影(扫描) 头盔、光场头盔和利用单眼视觉的头盔等利用人类视觉的深度感知特性, 能产生更真实的立体感.

A. 目镜式头盔显示系统

自由曲面棱镜式头盔最早由Okuyama 和Yamazaki 提出, Cheng 等对其进行再设计, 如下图所示, 并通过像质自动平衡算法实现53.5° 的大视场角与1.875 的小F#, 大大提升了显示效果.

Cheng D, Wang Y, Hua H, et al. Design of an optical see-through headmounted display with a low f-number and large field of view using a free-form prism. Appl Opt, 2009, 48: 2655-2668

最早将中等尺寸显示器头盔成功推向市场的是美国的Oculus公司, 近些年来这种类型的头盔显示设备成为消费级虚拟现实显示器的主流产品. 对于这类头盔目镜的设计, 大视场角会导致镜片元件中心厚度的增大. 为了避免这一点, Wearality sky 利用Fresnel透镜减小镜片厚度, 实现150° 的超大视场. 不同结构形式的头盔显示器的参数见下表.

B. 大视场高分辨率头盔显示技术

Rolland 等提出静态光电插入式头盔显示原型, 如下图所示, 该系统利用微透镜阵列将高分辨率图像复制成图像阵列, 再利用光学开关阵列选通, 将与用户观察位置对应的图像单元叠加在背景图像上.

Rolland J P, Yoshida A, Davis A L. High-resolution inset head-mounted display. Appl Opt, 1998, 37: 4183–4193

双目分视技术是另一种利用人眼视觉融合特性的方法. 下图为这种方法的示意图, 用户的一只眼睛观察大视场低分辨率图像, 另一只眼观察中心区域小视场高分辨率图像. 该方案成本低廉, 但是用户只能观察到中心区域的高清晰图像, 且无法产生立体效果.

Cheng 等提出了双自由曲面棱镜拼接式的头盔显示设备, 获得56° × 45° 的大视场与3.2 角分的角分辨率, 如下图所示. 同时, Cheng 等还提出其他的自由曲面棱镜拼接形式, 其中六块棱镜拼接可以获得119° × 56° 的大视场角, 同时角分辨率保持为3.2 arcmin.

Cheng D, Wang Y, Hua H. Euro Patent, 2564259 B1, 2015-01-21

C. 多焦面头盔显示技术

分时复用式多焦面头盔在某个特定时刻只具有一个深度的焦面, 通过自身光焦度或者物像关系的变化使得系统的焦面在几个特定深度之间迅速切换, 进而生成若干焦平面. Hu 等利用变形镜改变中间像的轴向位置, 再借由自由曲面棱镜实现了双焦面的构建, 其光路图如下图所示. 这个双焦面系统已经可以佩戴于头部, 但由于光路复杂, 镜片数目较多, 体积仍然比较庞大.

Hu X, Hua H. High-resolution optical see-through multifocal-plane head-mounted display using freeform optics. Opt Express, 2014, 22: 13896-13903

Cheng 等利用两片自由曲面棱镜的轴向堆叠, 首次设计出了可以佩戴的轻小型双通道头盔显示器, 如下图所示. 在这个系统中, 两个显示通道分别产生位于1.25m 和5m 处的焦面. 空间并行式多焦面系统往往采用多个显示器, 通过多个光学显示通道获得多个焦面. 与分时复用式不同, 空间并行式系统能够同时显示数个不同深度的图像.

Cheng D, Wang Q, Wang Y, et al. Lightweight spatialy multiplexed dual focal-plane head-mounted display using two freeform prisms. Chin Opt Lett, 2013, 11: 031201

D. 利用单眼视觉的头盔显示技术

利用单眼视觉可能是缓解会聚与聚焦不匹配问题的另一条道路.  Johnson 和Konrad 各自独立地将"单眼视觉"原理应用到立体显示领域中. 下图显示了单眼视觉显示的原理. 相对于多焦面头盔系统, 单眼视觉头盔系统结构简单、成本低廉.

Johnson P V, Parnell J A Q, Kim J, et al. Dynamic lens and monovision 3D displays to improve viewer comfort. arXiv:1512.09163

E. 视网膜投影技术与视网膜扫描显示技术

视网膜投影显示(retinal projection display, RPD) 采用Maxwell 观察法, 使用空间光调制器在光束的不同孔径高、不同方位角的位置叠加图像信息, 让用户眼底的每一点对应于从空间光调制器出射的特定孔径高、特定方位角的光线. 简化的视网膜头盔原理如下图所示. Ando在其提出采用全息光学元件的头盔显示器中首先用到了Maxwell观察法原理.

视网膜投影显示的图像没有远近的概念, 在人眼视度调节的过程中图像始终是清晰的, 而在实际中, 由于系统并不是理想的针孔模型, 系统的景深是有限的. 视网膜显示系统的主要优势在于可以提供更清晰的图像、更高的对比度和更大的景深, 如下图所示.

Takatsuka Y, Yabu H, Yoshimoto K, et al. Retinal projection display using diffractive optical element. In: Proceedings of the 10th International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Kitakyushu, 2014. 403–406

F. 光场头盔显示技术

除了多焦面显示与视网膜显示外, 光场成像, 或者说集成成像, 也能够实现真实立体感. 光场显示模拟了真实场景中的光线的位置和传播方向. 光场头盔显示器常常借助微孔阵列或者微透镜阵列. Song 等在自由曲面棱镜与它的微显示器之间加入微孔阵列获得光场头盔显示器, 并且通过实验验证了其具有200mm 至1m 深度显示范围, 参见下图.

Song W, Wang Y, Cheng D, et al. Light field head-mounted display with correct focus cue using micro structure array. Chin Opt Lett, 2014, 12: 39–42

Lanman 等利用OLED微显示器与微透镜阵列实现的光场显示器在包含机械结构的情况下只有11mm, 约为普通目镜系统的四分之一, 其外形与显示效果如下图所示.

Lanman D, Luebke D. Near-eye light field displays. ACM SIGGRAPH Talks, 2013, 32: 2504-2507

G. 虚拟现实显示中的视度调节

虚拟现实头盔显示器作为一种目视系统若要获得广泛的应用, 则需要具有一定视度调节能力, 使得具有不同视力水平的用户均能正常使用. 以最简单的头盔显示器, 即使用较大显示器的单片式头盔为例, 视度调节可以通过改变透镜与显示器之间的距离实现. 另外, 在光路中加入液体透镜、变形镜等变焦距元件也可以实现视度的补偿.

H. 投影式头盔显示系统

投影式头盔显示器最早由Fergason于1997年提出, 虽然它是用户佩戴在头部的显示设备, 但它的显示原理更接近于投影显示. 与普通投影机相比, 这种投影系统并不会在屏幕上产生一个实像. Hua 的研究组在引入衍射光学元件和塑料光学元件的基础上研制了超轻型、高投影质量的镜头, 并于2008年结合用户自定义的镜头完成了另一种更加紧凑、适合于佩戴的样机, 如下图所示. 该样机能达到50° 的视场角, 重量仅为750克.

Zhang R, Hua H. Characterizing polarization management in a p-HMPD system. Appl Opt, 2008, 47: 512-522

3 其他虚拟现实显示技术

除了头盔显示系统以外, 虚拟现实还有大屏幕立体投影显示系统、体三维显示系统(如下图所示)、计算全息显示系统等多种其他显示方式. 这些显示方式各具特点, 有着各自的应用领域.

4 结束语

虚拟现实的显示手段多种多样, 各具特色. 头盔显示设备是最为典型也是最具有发展前景的虚拟现实显示设备. 小型化与大视场高分辨显示依然是头盔显示发展的趋势. 当前的头盔显示系统的研究热点已经从单通道的左右视差型头盔向多通道、兼具大视场与高分辨率以及真实立体感头盔的方向转移. 除了具有物像关系的传统目镜式头盔显示外, 视网膜显示技术、光场头盔显示技术这些新型头盔显示技术蓬勃发展.

目前的头盔显示器距离长时间使用中舒适的用户体验还有很长的路要走. 解决会聚与聚焦的不匹配问题是提高用户舒适度的一个重要步骤, 然而目前多焦面头盔还难以实现轻小型的实用系统. 视网膜显示设备的严格的佩戴精度要求使得用户体验打了折扣. 而对于光场头盔, 如何实现优良的图像显示效果是有待解决的问题.

不同技术交叉融合, 各取所长将会诞生出新型的高性能头盔显示设备. 如前所述, 视网膜显示技术与多视点技术的结合产生了具有真实立体感的头盔显示设备; 集成成像与自由曲面棱镜的结合诞生了光场头盔显示系统. 此外, 近些年眼动跟踪技术的发展也会对头盔显示技术有所促进. 带有眼动跟踪功能的头盔显示器可能具有更加轻小的结构和更加卓越的性能. 透射式头盔显示技术与其他虚拟现实显示技术, 例如投影技术、CAVE 等, 相结合能产生多层次的虚拟现实显示效果以及适用于多用户的虚拟现实显示系统.

除了头盔以外的显示方式仍然有一定的发展与应用前景. 尤其是计算全息显示系统, 如果计算能力不足的难题得以突破、空间光调制器的分辨率得以提高, 则不失为一种优秀的真实立体感虚拟现实显示方式.

↓↓↓ 点击原文下载链接，查看更多内容

http://engine.scichina.com/publisher/scp/journal/SSI/46/12/10.1360/N112016-00247?slug=full%20text