引用本文

兰诚栋, 林宇鹏, 方大锐, 陈建. 多视点稀疏测量的图像绘制方法.自动化学报, 2021, 47(4): 882-890 doi: 10.16383/j.aas.c180199

Lan Cheng-Dong, Lin Yu-Peng, Fang Da-Rui, Chen Jian. Multi-view sparse measurement for image-based rendering method. Acta Automatica Sinica, 2021, 47(4): 882-890 doi: 10.16383/j.aas.c180199

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180199

关键词

多视点图像重建，基于图像的绘制，极平面图像，压缩感知 

摘要

为了减少所需采集的视频数据量, 基于图像绘制(Image-based rendering, IBR) 的前沿方法将稠密视点信息映射成压缩感知框架中的原始信号, 并将稀疏视点图像作为随机测量值, 但低维测量信号由所有稠密视点信息线性组合而成, 而稀疏视点图像仅仅来源于部分视点信息, 导致稀疏视点采集的图像与低维测量信号不一致. 本文提出利用间隔采样矩阵消除测量信号与稀疏视点图像位置之间的差异, 进而通过约束由测量矩阵和基函数构成的传感矩阵尽量满足有限等距性, 使得能够获得原始信号的唯一精确解. 仿真实验结果表明, 相比于前沿方法, 本文提出的方法对于不同复杂程度的场景重建都提高了主客观质量.

文章导读

随着当代计算技术和多媒体技术的飞速发展, 追求用户高质量体验的沉浸式视频取得了长足的发展[1-2]. 一个多媒体系统, 其提供的显示和追踪技术如果可以用来在时间和空间上忠实地再现现实世界的感觉和行为, 就被称为沉浸[3].在视觉领域, 沉浸感就是指借助设备显示技术, 能够让参与到虚拟环境中的人们产生身临其境的临场感. 2016年, 多媒体产品工业界对于虚拟现实VR技术产生浓厚兴趣, Facebook、谷歌、微软、苹果等大公司都开展了相关技术研发, 并发布了相关VR产品.视频呈现的历史, 正是追逐更强沉浸式体验的技术发展过程.

为了增强沉浸感和互动性, 需要将现实世界的三维场景的全部信息进行记录, 并且能够为用户进行无失真的重现. 计算机视觉领域中, 场景的表示与重建技术是该问题主要的解决方案[4-5].

依据原始图像的数量可以将三维重建方法分为单视点图像三维重建和多视点图像三维重建. 单视点图像三维重建方法是基于单幅2D图像提取场景深度信息来构建立体视觉图像[6-7]. 由于多视点图像中包含更强的场景深度线索—视差, 基于图像的绘制技术(Image-based render, IBR)成为一种近年来较为热门的三维重建方法.该方法拍摄图像用于采集光线, 通过绘制对这些光线进行重组[8-9].

采集和重建是实现IBR渲染技术的主要方法.目前通用的方法需要的摄像机数量较多, 采集数据量大, 带来压缩和存储的巨大压力, 同时设备及带宽成本高昂; 若是减少摄像机数量, 则会导致重建内容产生跳跃性, 图像出现重影和模糊现象.

对IBR技术调研可知, 最先有Chai等[10]在2000年分析了全光函数的频带并找到最优的全光函数平均采样率. 在此基础上, Zhang等[11]将IBR的谱分析扩展到了更加通用的情况, 包括非Lambertian和遮挡场景. 他们利用一个表面全光函数首次研究了同心拼接的谱分析, 初步分析了非Lambertian反射和遮挡场景. 然而, 该方法在对全光函数进行分析时, 并没有指出在何种条件下全光函数为带限信号. 针对该问题, Do等[12-13]的论文指出: 除非场景表面是平的, 否则全光函数的频带不是带限的. Zhou等[14]扩展了对非Lambertian反射的光谱分析.通过将反射解析光场作为纹理信息, 建立了一个新的非Lambertian反射场景模型. 2014年, Gilliam等[15]首次提出了有限斜面的全光谱表达式, 并以此为基础对复杂场景进行合成.

最新前沿方法[21]利用剪切波作为稀疏基, 通过随机测量矩阵获得低维测量信号, 基于压缩感知求解方法重建稠密多视点图像, 此时, 测量信号包含了原始稠密多视点图像尽可能多的信息熵[22].现实VR场景图像重建等应用场景中, 需要通过摄像机采集稀疏视点图像, 并将它们作为压缩感知框架中的低维信号.显然, 低维信号需要与测量矩阵相对应, 若是采用随机测量矩阵, 无法采集相应的低维测量信号. 本文提出构建稀疏视点测量矩阵, 基于该测量矩阵自适应构建稠密视点图像的稀疏基, 并使之满足压缩感知框架中获取唯一精确解的条件.

图 1  基于压缩感知框架的稠密多视点图像重建原理

图 4  图像绘制算法流程

图 5  基向量个数与重建误差的关系

本文描述了一种从给定的稀疏视点通过相应的测量矩阵训练稀疏表示基, 优化求解原始EPI图分块, 进而重建稠密视点图象的方法.本文算法构建了均匀间隔采样的稀疏视点测量矩阵, 并基于该矩阵约束训练稀疏基, 进而求解基于多视点稀疏测量约束传感矩阵的压缩感知框架, 重建稠密多视点图像.通过仿真实验结果表明, 本文提出的方法在给定少量视点情况下, 重建稠密视点图象是非常有效的.提出的重建算法可应用于虚拟视点合成、多视点视频压缩后处理以及虚拟现实等.

作者简介

林宇鹏

福州大学物理与信息工程学院硕士研究生. 主要研究方向为图像处理. E-mail: 18850766818@163.com

方大锐

福州大学物理与信息工程学院硕士研究生. 主要研究方向为图像处理与压缩感知应用. E-mail: N161120076@fzu.edu.cn

陈建

福州大学物理与信息工程学院讲师. 主要研究方向为视频编码, 压缩感知, 点云压缩. E-mail: chenjian-fzu@163.com

兰诚栋

福州大学物理与信息工程学院副教授. 主要研究方向为图像处理与视频编码. 本文通信作者. E-mail: lancd@fzu.edu.cn