引用本文

陈殷齐, 郑慧诚, 严志伟, 林峻宇. 基于单应性扩散约束的二步网格优化视差图像对齐. 自动化学报, 2024, 50(6): 1129−1142 doi: 10.16383/j.aas.c210966

Chen Yin-Qi, Zheng Hui-Cheng, Yan Zhi-Wei, Lin Jun-Yu. Parallax image alignment with two-stage mesh optimization based on homography diffusion constraints. Acta Automatica Sinica, 2024, 50(6): 1129−1142 doi: 10.16383/j.aas.c210966

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210966

关键词

图像对齐，视差场景，网格优化，匹配特征缺失区域 

摘要

目前, 在带有视差场景的图像对齐中, 主要难点在某些无法找到足够匹配特征的区域, 这些区域称为匹配特征缺失区域. 现有算法往往忽略匹配特征缺失区域的对齐建模, 而只将有足够匹配特征区域中的部分单应变换系数(如相似性变换系数)传递给匹配特征缺失区域, 或者采用将匹配特征缺失区域转化为有足够匹配特征区域的间接方式, 因此对齐效果仍不理想. 在客观事实上, 位于相同平面的区域应该拥有相同的完整单应变换而非部分变换参数. 由此出发, 利用单应变换系数扩散的思想设计了一个二步网格优化的图像对齐算法, 简称单应扩散变换(Homography diffusion warping, HDW)算法. 该方法在第一步网格优化时获得有足够匹配特征区域的单应变换, 再基于提出的单应性扩散约束将这些单应变换系数扩散到邻域网格, 进行第二步网格优化, 在保证优化任务简洁高效的前提下实现单应变换系数的传播与图像对齐. 相较于现有的针对视差场景图像对齐算法, 所提方法在各项指标上都获得了更好的效果.

文章导读

图像对齐技术广泛应用于图像配准[1]、视频稳定[2]、遥感[3-4]和图像拼接[5], 是计算机视觉和计算机图形学的重要研究领域[6-8], 其中的拼接应用扮演着重要角色[9]. 本文针对图像拼接中重叠区域的对齐展开研究, 因为拼接中的重叠区域与非重叠区域互相独立, 在使用本文提出的对齐方法后, 非重叠区域可以使用其他任意方法来获得令人满意的结果[10-12]. 关于拼接中的图像对齐, 根据需要对齐图像的场景不同可以分为基于无视差场景和有视差场景的方法. 早期全局单应变换方法[1, 13-14]在只存在旋转缩放的相机相对运动或单一平面的无视差场景下能得到很好的结果[15]. 但在现实应用中, 通过自由的拍摄形式拍摄任意的景物所获得的图像才更符合实际需求. 此时, 如果景物存在多平面且相机拍摄时存在相对平移, 图像之间会产生视差, 导致重叠区域中属于不同平面物体的对齐存在不同的单应变换, 对可靠的图像对齐形成挑战. 这种视差场景下的对齐问题尚未得到完全解决, 受到研究者关注[5, 9, 16-18]. 

为解决视差场景的挑战, 有研究者提出局部化思想[6, 19], 这种思想最初应用于图像编辑[20-24]. 基于局部化思想的方法[6, 19]与基于全局单应变换的方法[1, 13-14]相比, 可以有效改善视差复杂场景的对齐效果. 但是在某些区域中, 传统算法难以找到匹配特征甚至完全不存在匹配特征, 而且现有方法都忽略了建模这些区域, 本文把这些区域称之为匹配特征缺失区域. 在后续研究中, 有研究者在局部化思想启发下提出基于网格的优化方法[8], 通过将图像划分成网格, 优化由网格顶点构成的函数来提升图像对齐的效果, 体现出很大潜力, 使得图像对齐研究开始向网格优化的方向发展. 然而, 目前的网格优化方法[5, 8-9, 16, 25-28]普遍通过保持有足够匹配特征区域的部分单应变换系数来建模匹配特征缺失区域, 并结合全局预变换约束. 这种约束虽然适用于图像编辑, 但不符合实际场景中一个物体平面的视角变换情况, 导致在存在匹配特征缺失区域的场景中表现不佳. 如图1(a)所示, CPW (Content-preserving warping)[8] 和SVIW (Spatially-varying image warps)[16]由于对匹配特征缺失区域建模不准确而没有对齐, 本文提出的方法依靠单应性扩散约束对匹配特征缺失区域的准确建模而对齐. 

图 1  本文算法与现有方法的图像对齐效果对比

由于上述方法仅依靠匹配特征点的坐标实现, 不可避免地会在匹配特征缺失区域表现不佳. 因此, 有研究者采用另一种思想, 即通过增加匹配特征来增强对齐效果. 例如, 一些学者研究了如何让点特征更加丰富[3, 9, 29-32], 但是这些方法过于依赖图像局部的判别性, 在规则的场景中欠优. 有一些学者提出利用匹配线特征[5, 25-26, 28, 33-37]对齐. 然而, 在具有不规则物体的视差复杂场景中, 线特征的提取匹配结果仍然不理想, 甚至不存在线特征. 利用平面与平面匹配特征的做法也开始引起学者们的关注[7, 17-18, 38-40], 但其获取面匹配特征的方式依赖于一些平面分割方法和特征点空间分布规律等, 现有分割方法的不鲁棒以及匹配特征点在无特征区域的缺失使得在具有不规则物体的场景中表现不佳(如图1(b)所示), SMH (Synthesizing multiple homography)[17]和PCPS (Projective-consistent plane based image stitching)[18] 由于对不规则物体特征约束较弱而没有对齐, 本文提出的方法由于二步优化的强特征约束而对齐. 在利用新特征上, 最近的工作提出使用特征点的角度来引导对齐[41], 丰富对特征点属性的利用. 上述这些添加新特征的方法都未对匹配特征缺失区域直接建模, 而是试图通过提取新特征将匹配特征缺失区域转化为有足够匹配特征的区域, 间接解决匹配特征缺失区域的匹配问题. 然而, 不同场景具有不同特征, 这种为匹配特征缺失区域新增匹配特征的做法难以适应各种不同场景, 因此有必要专门研究匹配特征缺失区域的建模方法, 这也是提升任意场景中图像对齐质量的关键所在. 此外, 由于深度学习的兴起, 一些相关研究[42-50] 也应运而生, 然而这些方法训练所用的数据集为虚拟生成或借由其他特征提取等相关任务数据集扩展到对齐任务. 对于应用中的多变场景, 这些依赖特定域的方法缺乏泛化能力. 

本文针对现有方法对匹配特征缺失区域建模的不足, 基于完整单应变换系数传播的思想, 在建模中保持匹配特征缺失区域与相同平面上有足够匹配特征的区域具有相同的完整单应变换. 采用分两步线性求解的优化方式, 在不使优化函数过于复杂的前提下实现单应变换系数的传播. 具体而言, 本文提出基于单应性扩散约束的二步网格优化算法, 简称单应扩散变换(Homography diffusion warping, HDW), 先利用有足够匹配特征的区域进行局部单应变换获得可靠估计. 通过第一步网格线性优化对齐存在匹配特征的网格单元, 计算出这些网格单元的完整单应变换系数, 作为第二步网格优化的先验知识, 这一做法使原本复杂的单应变换传播的变量数大幅减少. 在第二步网格优化时, 利用网格单元顶点的单应性约束构建单应性扩散约束, 形成第二次线性网格优化, 施加于有足够匹配特征网格单元的邻域网格单元, 从而实现单应性的传播. 相对现有方法, HDW对匹配特征缺失区域的建模更为准确, 提高了对齐结果中重叠区域的对齐程度. 

图 2  HDW对齐示意图

图 3  平面分割特性的分析

在图像对齐中, 对匹配特征缺失区域建模的忽略是现有方法效果仍然不佳的重要原因. 现有方法只传播有足够匹配特征区域的部分几何参数, 或者采用把匹配特征缺失区域转化为有足够匹配特征区域等间接做法, 难以准确获得现实中物体视角变换产生的图像变换模型. 本文基于传播完整单应变换系数的思想提出了HDW模型, 以建模真实变换. 

HDW利用网格优化对匹配特征具有较强约束的优点, 先对图像做第一步网格优化, 获得有足够匹配特征区域比较准确的单应变换系数, 将其作为先验知识, 以减少单应变换传播所需要的变量数, 降低优化函数复杂度. 接着, 建立网格单元顶点和单应变换系数之间的单应性约束关系, 引入邻域概念, 构造单应性扩散约束进行第二步网格优化. HDW用两次求解线性方程组的形式, 在不使待优化目标函数变得过于复杂的情况下实现对有足够匹配特征区域完整单应变换系数的传播, 克服了现有方法缺乏对匹配特征缺失区域建模的不足. 在和前沿算法的定量对比中, HDW获得了更为准确的结果, 而具体实例的可视化对比也显示出HDW对特征的强约束和独特的平面划分特性. 这些优点使得HDW在具有规则物体或不规则物体的大部分复杂视差场景中表现优异. 

作者简介

陈殷齐

中山大学计算机学院硕士研究生. 主要研究方向为图像对齐与拼接. E-mail: chenyq277@mail2.sysu.edu.cn

郑慧诚

中山大学计算机学院副教授. 2004年获得法国里尔第一大学博士学位. 主要研究方向为计算机视觉, 神经网络和机器学习. 本文通信作者. E-mail: zhenghch@mail.sysu.edu.cn

严志伟

中山大学计算机学院硕士研究生. 主要研究方向为深度学习, 目标检测. E-mail: yanzhw5@mail2.sysu.edu.cn

林峻宇

复旦大学计算机科学技术学院硕士研究生. 主要研究方向为深度学习, 具身智能. E-mail: 22210240210@m.fudan.edu.cn