2021年第03期封面故事: 聚焦型光场相机点云重建方法，让室外目标真实再现

聚焦型光场相机点云重建方法，让室外目标真实再现


 

封面解读：

通过光场相机进行多帧拍摄，可以恢复出具有真实尺度的目标三维点云模型。长城作为中国古建筑的杰出代表，选用它作为点云重建目标意在表达该项技术可以应用在建筑等目标的点云重建中，并具有一定的军事意义。

封面文章| 《光学学报》2021年第03期封面故事：刘青松; 谢晓方; 张烜喆; 田瑜; 许晓军; 句源; 聚焦型光场相机等效多相机模型及其SFM应用[J]. 光学学报, 2021, 41(3): 0315001.

微信链接：

1、背景

点云三维(3D)重建就是利用各类传感器恢复三维目标的一系列三维特征点。

它在建模、侦查、导航等方面具有重大应用价值。目前常用的点云重建传感器有单目相机、RGBD相机、TOF(Time of Flight)相机等。

基于单目相机的点云重建难以恢复场景的真实物理尺度，基于有源相机(RGBD相机、TOF相机等)的点云重建难以在室外强光条件下工作。而基于聚焦型光场相机（如图1所示）的点云重建技术能够有效解决这些问题，进而能够在室外(野外)条件下进行真实尺度的点云重建。这一优势使得该技术在侦查，导航和视景仿真等领域有着广泛的应用前景。

它通常被安装在飞机的机头下方（如图1所示），以加强飞机对地、对海的探测能力，可提供窄视场下远距离的精确探测、追踪成像和识别。

图1 Raytrix公司的R29聚焦型光场相机（图片来自网络）

2、基于聚焦型光场相机的点云重建方法

国防科技大学许晓军团队(张烜喆、王彦、宁禹、李俊等)和海军航空大学谢晓方团队(刘青松等)提出了基于聚焦型光场相机的点云重建方法。该方法通过标定后的聚焦型光场相机对目标进行多次随机拍摄，并根据拍摄得到的多帧光场图像来恢复目标场景的真实尺度点云数据。相关研究代码和数据公开在了Github网站中，网址为：https://github.com/samliu0631/SFM-for-focused-plenoptic-camera。

聚焦型光场相机区别于传统的针孔相机，其在主透镜和传感器之间放置了一块精密加工的微透镜阵列(MLA)，进而使得光场相机能够记录光线的角度分布信息，具体的成像示意图如图2所示。由于其相机结构的特殊性，无法直接使用传统的运动恢复结构算法(Structure from motion)来进行点云重建。为此，课题组创新性地将聚焦型光场相机等效为多目相机，并基于多目相机的SFM (Structure from motion)算法提出了适用于聚焦型光场相机的SFM算法。该算法能够有效恢复目标场景的物理尺度，且在室外条件下也可以正常工作。

图2 聚焦型光场相机结构示意

课题组利用Raytrix公司的R29聚焦型光场相机在实验室环境下进行了坦克模型的点云重建，实验场景和坦克模型点云如图3所示。

图3 点云重建实验场景。（a）拍摄场景；（b）坦克模型；（c）、（d）重建坦克点云

图4中显示了真实坦克模型炮筒的长度为173mm，而重建坦克模型点云的炮筒长度为171.6mm。可以看到重建点云的尺度误差控制在了毫米级，这说明了基于聚焦型光场相机的点云重建能够正确恢复出目标场景的真实物理尺寸。

图4 重建点云尺度测量。(a)真实坦克模型炮筒长度测量；(b)重建坦克模型点云炮筒长度测量

课题组还利用R29相机在室外环境下对灌木进行点云重建实验，得到的效果如图5所示。这验证了基于聚焦型光场相机的点云重建方法能够在存在强光的室外条件下正常工作。

图5 室外环境点云重建实验

由于聚焦型光场相机的优良特性，基于聚焦型光场相机的点云重建技术可以应用在机器人导航、军事侦查、地形勘察等领域。且重建点云经过后续的优化和网格化技术可以得到目标完整的三维模型，进而可以应用在视景仿真和增强现实等领域。

3、后续工作

在后续工作中，课题组将结合实时化技术，进一步提高点云重建的计算效率。同时，将把相机和数据处理模块进行有效整合，并装载在无人机等平台上进行更大范围的点云重建研究。