引用本文

余磊, 廖伟, 周游龙, 杨文, 夏桂松. 基于事件相机的合成孔径成像. 自动化学报, 2023, 49(7): 1393−1406 doi: 10.16383/j.aas.c200388

Yu Lei, Liao Wei, Zhou You-Long, Yang Wen, Xia Gui-Song. Event camera based synthetic aperture imaging. Acta Automatica Sinica, 2023, 49(7): 1393−1406 doi: 10.16383/j.aas.c200388

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200388

关键词

事件相机，合成孔径成像，遮挡物去除，图像重建 

摘要

合成孔径成像(Synthetic aperture imaging, SAI)通过多角度获取目标信息来等效大孔径和小景深相机成像. 因此, 该技术可以虚化遮挡物, 实现对被遮挡目标的成像. 然而, 在密集遮挡和极端光照条件下, 由于遮挡物的密集干扰和相机本身较低的动态范围, 基于传统相机的合成孔径成像(SAI with conventional cameras, SAI-C)无法有效地对被遮挡目标进行成像. 利用事件相机低延时、高动态的特性, 本文提出基于事件相机的合成孔径成像方法. 事件相机产生异步事件数据, 具有极低的延时, 能够以连续视角观测场景, 从而消除密集干扰的影响. 而事件相机的高动态范围使其能够有效处理极端光照条件下的成像问题. 通过分析场景亮度变化与事件相机输出的事件点之间的关系, 从对焦后事件点重建出被遮挡目标, 实现基于事件相机的合成孔径成像. 实验结果表明, 所提出方法与传统方法相比, 在密集遮挡条件下重建图像的对比度、清晰度、峰值信噪比(Peak signal-to-noise ratio, PSNR)和结构相似性(Structural similarity index measure, SSIM)指数均有较大提升. 同时, 在极端光照条件下, 所提出方法能有效解决过曝/欠曝问题, 重建出清晰的被遮挡目标图像.

文章导读

合成孔径成像(Synthetic aperture imaging, SAI) 作为光场[1-2]计算成像领域的重要分支, 克服了单一视角拍摄时对遮挡目标无法有效成像的问题, 如图1(a)和图1(e)所示. 通过将相机在多视角拍摄的图像帧进行映射与合成, 合成孔径成像可等效于一个虚拟的大孔径和小景深相机成像, 因此能够虚化远离对焦平面的遮挡物, 实现对被遮挡目标的成像, 在遮挡物去除[3-6]、目标识别与跟踪[7-10]以及场景三维重建[11]等方面具有极高的应用价值.

图 1  基于传统相机的SAI和基于事件相机的SAI效果对比. 第1列分别为拍摄实景和目标图像. 第2 ~ 4列分别对应密集遮挡、极高光照条件、极低光照条件下, 基于传统相机的SAI与本文提出的基于事件相机SAI的成像结果对比

然而, 在密集遮挡和极端光照条件下, 由于遮挡物的密集干扰和相机本身较低的动态范围, 基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像. 图1(b)给出了传统合成孔径成像方法在密集遮挡条件下的成像结果. 由于遮挡物过于密集, 减少了来自被遮挡目标的信息, 而增加了遮挡物的干扰, 因此会严重影响成像结果的清晰度和对比度. 针对这一问题, 现有方法通过移除干扰像素点, 从而提高对被遮挡目标的成像效果[11-12]. 但是, 密集遮挡会大大降低遮挡物像素标记的准确度, 从而影响合成孔径成像的质量. 图1(c)和图1(d)给出了传统合成孔径成像方法在极端光照下的成像结果. 由于传统相机的动态范围较低, 不可避免会引起过曝光/欠曝光问题, 导致无法对目标有效成像. 对于这一问题, 目前尚无有效的改善方法.

针对上述问题, 本文提出了一种基于事件相机的合成孔径成像方法, 能够有效提升在密集遮挡条件下的合成孔径成像质量; 同时, 在极端光照条件下也能有效地对被遮挡目标进行成像. 事件相机是受生物视觉启发的一类新型视觉传感器, 例如动态视觉传感器 (Dynamic vision sensor, DVS)[13] 和动态主动像素视觉传感器 (Dynamic and active-pixel vision sensor, DAVIS)[14]. 与传统相机不同, 事件相机感知场景的对数域亮度变化, 输出异步事件流数据, 具有极低的延时和极高的动态范围. 与高延时的传统相机相比, 事件相机能够以极低的延时响应亮度的瞬时变化. 因此, 在合成孔径过程中, 事件相机能够连续地对场景和目标进行感知. 在密集遮挡条件下, 事件相机能够获取更多的被遮挡目标信息, 从而提升成像质量, 如图1(f)所示. 此外, 具有极高动态范围的事件相机能在极端光照条件下, 根据亮度变化稳定地输出事件流, 进行合成孔径成像, 如图1(g)和图1(h)所示. 利用事件相机进行多视角信息采集后, 进一步将事件流在目标深度下映射, 完成对焦. 最后, 通过分析场景亮度与事件点数量的关系, 并针对亮度重建过程中存在的事件点抵消以及图像对比度下降问题, 本文提出基于非对称和自适应阈值的图像重建方法, 利用事件流进行亮度重建, 得到高清晰度、对比度的目标重建图像.

本文的主要贡献如下:

1)本文提出利用事件相机进行合成孔径成像, 系统分析了基于事件相机合成孔径成像的基本原理、方法和优势.

2)针对基于事件相机合成孔径成像中存在的事件点抵消与图像对比度下降问题, 本文提出基于非对称和自适应阈值的合成孔径成像重建方法, 进一步提升了重建图像的质量.

3)通过实验表明, 本文方法不仅能够极大提升密集遮挡条件下的成像质量. 同时, 还能解决极端光照条件下的过曝光/欠曝光问题, 对被遮挡目标进行有效成像. 因此, 对于密集丛林遮挡、夜间穿透成像、昼间天文观测等极端场景, 本文方法具有极高的应用价值.

本文结构安排如下: 第1节介绍了合成孔径成像和事件相机的基本原理与相关工作; 第2节介绍了基于事件相机的合成孔径成像原理与实现方法; 第3节在密集遮挡与极端光照下进行合成孔径成像实验, 验证本文方法的可行性、有效性; 第4节得出结论并介绍进一步的研究方向.

图 2  基于传统相机的合成孔径成像

图 3  基于事件相机的合成孔径成像系统原型

在密集遮挡与极端光照条件下, 由于遮挡物的密集干扰与相机本身较低的动态范围, 基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像. 针对这一问题, 本文利用事件相机的极低延时和极高动态范围特性, 提出了一种基于事件相机的合成孔径成像方法. 该方法利用感知亮度变化的事件相机进行多视角目标信息采集. 然后, 根据相机多视图几何原理, 将事件流在目标深度下对焦. 通过分析场景亮度与事件点数量的关系, 提出基于非对称和自适应阈值的亮度重建方法, 解决了基于事件相机合成孔径成像中存在的事件点抵消与图像对比度下降问题, 进一步提升成像质量. 实验结果表明, 本文方法与传统方法相比, 在密集遮挡条件下在清晰度、对比度、峰值信噪比和结构相似性指标上均有较大提升. 同时, 本文方法能解决极端光照条件下的过曝光/欠曝光问题, 对被遮挡目标进行有效成像.

虽然本文方法在密集遮挡与极端光照条件下进行合成孔径成像时, 与传统方法相比具有较大优势, 但是也存在一些局限. 首先, 与基于传统移动相机的合成孔径成像类似[3], 本文方法对事件相机的移动方式存在一些要求, 即相机始终在一个相机平面内移动, 且相机的光轴始终垂直于相机平面, 并且需要保证场景处于静止状态, 否则本文方法将无法正确进行事件流映射, 导致无法进行有效的成像. 其次, 本文方法依靠在密集遮挡物边缘产生的事件点来获取场景信息. 当遮挡物过于稀疏, 或者遮挡物在场景中只占一小部分时, 本文方法可能也无法有效地进行成像. 最后, 与普通的光学相机相比, 目前市面上的事件相机分辨率较低.

因此, 当观测目标较小, 或距离相机过远时, 分辨率的限制可能会导致重建目标的细节较差.

因此, 在今后的研究中, 我们将尝试融合普光图像与事件流数据进行合成孔径成像, 进一步提高合成孔径成像在复杂遮挡物、极端光照场景下的成像性能. 此外, 参考文献[34-36]的方法, 我们将针对事件流重建的特性, 进行重建图像的超分辨率复原, 来弥补事件相机在分辨率上的局限.

作者简介

余磊

武汉大学电子信息学院副教授. 主要研究方向为稀疏信号处理, 图像处理和神经形态视觉感知. 本文通信作者. E-mail: ly.wd@whu.edu.cn

廖伟

武汉大学电子信息学院硕士研究生. 主要研究方向为数字图像处理. E-mail: 2016301200164@whu.edu.cn

周游龙

武汉大学电子信息学院硕士研究生. 主要研究方向为事件相机图像重建. E-mail: zhouyl2019@whu.edu.cn

杨文

武汉大学电子信息学院教授. 主要研究方向为图像处理与机器视觉, 多模态信息感知与融合. E-mail: yangwen@whu.edu.cn

夏桂松

武汉大学计算机学院教授. 主要研究方向为遥感成像中的计算机视觉, 模式识别与智能系统以及相关应用. E-mail: guisong.xia@whu.edu.cn