引用本文

韩敏, 闫阔, 秦国帅. 基于改进KAZE的无人机航拍图像拼接算法. 自动化学报, 2019, 45(2): 305-314. doi: 10.16383/j.aas.2018.c170521

HAN Min, YAN Kuo, QIN Guo-Shuai. A Mosaic Algorithm for UAV Aerial Image With Improved KAZE. ACTA AUTOMATICA SINICA, 2019, 45(2): 305-314. doi: 10.16383/j.aas.2018.c170521

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170521

关键词

航拍图像拼接，KAZE算法，FREAK算法，Grid-KNN算法 

摘要

为了更好地解决航拍图像易受光照、旋转变化、尺度变化等影响，KAZE算法实时性较差以及基于K近邻的特征匹配算法耗时较长等问题，该文提出了一种基于改进KAZE的无人机航拍图像拼接算法.该方法首先利用加速的KAZE算法提取图像的特征点，采用二进制特征描述子FREAK（Fast retina keypoint）进行特征点描述，然后使用Grid-KNN算法进行特征点粗匹配，利用随机一致性算法对匹配的特征点进一步提纯并计算几何变换模型，最后采用加权平均算法对图像进行融合.实验结果表明，该文所提算法使图像在光照变化、旋转变化及尺度变化下具有较好的性能，且处理速度较KAZE算法与K近邻特征匹配算法有较大提升，是一种稳定、精确度高、拼接效果良好的无人机航拍图像拼接方法.

文章导读

随着无人机航拍技术的发展, 近年来, 其在地图测绘, 危险区域安全巡检, 地质环境与灾害评估等相关领域得到了广泛应用.无人机航拍图像具有高清晰度, 大比例尺的特点.然而, 在航拍过程中, 无人机由于受到自身飞行高度, 相机视角等参数的影响, 拍摄的单张图像覆盖面积过小, 不能展示更全面的信息.因此, 为扩大视野范围, 得到覆盖区域更宽广的图像, 需要对拍摄的多张航拍图像进行拼接, 获得宽视角的全景图[1-3].图像拼接[4]是将相互间有重叠部分的两幅或多幅图像合成一幅大型的无缝高分辨率图像的一种技术.航拍图像的拼接一般包括3个步骤[5]:图像预处理, 图像配准, 图像融合.其中, 图像配准是图像拼接中较为关键的一步, 它是图像合成技术的基础[6], 其结果会对最后的拼接图像产生重要的影响.

图像配准方法主要分为基于灰度相关的配准, 基于变换域的配准和基于特征的图像配准3类[7].其中, 基于特征的图像配准方法通过提取图像的局部不变特征对图像的重合部分进行配准, 因其算法稳健、快速, 已成为研究的热点.常用的特征提取算法包括Harris[8], SUSAN (Smallest univalue segment assimilation nucleus)[9], SIFT (Scale invarian feature transform)[10-11], SURF (Speed-up robust features)[12-13], ORB (Oriented FAST and rotated BRIEF)[14-15], BRISK (Binary robust invariant scalable keypoints)[16-17], KAZE[18-19]和AKAZE (Accelerated-KAZE)[20]等.其中, Harris和SUSAN算法直接提取角点或边缘特征, 不具备较好的环境适应能力. SIFT和SURF通过构造高斯尺度空间得到高斯差分尺度空间, 并在其上进行斑点检测, 鲁棒性较强, 但其不能较好地保留细节与边缘信息. ORB算法结合了一种方向性FAST (Feature from accelerated segment test)与旋转二进制鲁棒独立元素特征BRIEF (Binary robust independent elementary feature), 计算速度快, 但不具备尺度不变性. BRISK利用AGAST (Adaptive and generic corner detection based on the accelerated segment test)提取角点特征, 利用简单的像素灰度值比较构建二进制特征子, 具备尺度与旋转不变性, 计算速度快, 但鲁棒性差. KAZE和AKAZE是基于非线性的特征提取与匹配算法, 鲁棒性强, 匹配率高.

由于KAZE算法在光照不变性、旋转不变性、尺度不变性、稳定性等方面具有较好的性能, 本文针对其算法实时性较差, 航拍图像易受光照、旋转变化、尺度变化等影响以及基于K近邻(K-nearest neighbor, KNN)的特征匹配算法耗时较长等问题, 提出了一种基于改进KAZE的无人机航拍图像拼接算法.该方法首先利用加速的KAZE算法提取图像的特征点, 使用二进制特征描述子FREAK[21]对特征点进行描述, 然后采用Grid-KNN算法对特征点进行粗匹配, 使用随机一致性算法(Random sample consensus algorithm, RANSAC)算法剔除错误的匹配点对并计算几何变换模型[22], 最后采用加权平均算法对图像进行融合.为验证本文算法的有效性, 将本文算法与SIFT算法, ORB算法和KAZE算法在Mikolajczyk和Schmid提供的数据集[23]与无人机航拍图像上进行了仿真实验, 并在特征点提取速度、特征匹配速度、匹配正确率和配准精度四个方面进行了评价.实验结果表明, 本文所提算法是一种稳定、精确度高、拼接效果良好的无人机航拍图像拼接方法.权衡特征点提取速度, 特征匹配速度, 匹配正确率和配准精度四个方面, 本文算法更适合无人机航拍影像的拼接.

图 1  FREAK算法采样模式

图 2  FREAK算法主方向确定

图 3  Grid-KNN匹配区域示意图

针对航拍图像易受光照、旋转变化、尺度变化等影响, KAZE算法实时性较差以及基于K近邻的特征匹配算法耗时较长等问题, 本文提出了一种基于改进KAZE的无人机航拍图像拼接算法, 并与SIFT算法, ORB算法和KAZE算法进行了对比.该方法首先利用加速的KAZE算法提取图像的特征点, 采用二进制特征描述子FREAK进行特征点描述, 然后使用Grid-KNN算法对特征点进行初步匹配, 采用RANSAC算法对匹配的特征点对精匹配并计算几何变换模型, 最后使用加权平均算法对图像进行融合.实验结果表明, 本文算法在特征匹配速度, 匹配正确率和匹配精度上拥有较好的性能的同时保持了一定的特征点提取速度.与KAZE算法和SIFT算法相比, 本文算法在保持匹配正确率和配准精度的同时提升了特征点提取速度与匹配速度; 与ORB算法相比, 本文算法虽然在特征点提取速度上有所减慢, 但是较大提高了特征匹配速度、匹配正确率和配准精度.综合特征点提取速度、特征匹配速度、匹配正确率与配准精度四个方面, 本文算法较上述算法更适合无人机航拍影像的拼接.

作者简介

闫阔

大连理工大学电子信息与电气工程学部硕士研究生.主要研究方向为图像拼接技术.E-mail:yankuo@mail.dlut.edu.cn

秦国帅  

大连理工大学建设工程学部博士研究生.主要研究方向为环境水资源系统分析.E-mail:qgs1991@mail.dlut.edu.cn

韩敏  

大连理工大学电子信息与电气工程学部教授.主要研究方向为模式识别, 复杂系统建模与分析及时间序列预测.本文通信作者.E-mail:minhan@dlut.edu.cn