引用本文

陈超迁, 孟勇, 杨平吕, 罗其祥, 周则明. 基于边缘增强与光谱特性保持的Pan-sharpening融合模型. 自动化学报, 2019, 45(2): 374-387. doi: 10.16383/j.aas.2018.c170243

CHEN Chao-Qian, MENG Yong, YANG Ping-Lv, LUO Qi-Xiang, ZHOU Ze-Ming. Pan-sharpening Model on Account of Edge Enhancement and Spectral Signature Preservation. ACTA AUTOMATICA SINICA, 2019, 45(2): 374-387. doi: 10.16383/j.aas.2018.c170243

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170243

关键词

全色与多光谱图像融合，变分方法，调制传输函数，边缘增强 

摘要

为生成兼具高光谱质量与高空间质量的融合图像，本文提出了一种新的Pan-sharpening变分融合模型.通过拟合退化后的全色（Panchromatic，Pan）波段图像与低分辨率多光谱（Multispectral，MS）波段图像间的线性关系得到各波段MS图像的权重系数，计算从Pan图像抽取的空间细节；基于全色波段图像的梯度定义加权函数，增强了图像的强梯度边缘并对因噪声而引入的虚假边缘进行了抑制，有效地保持了全色波段图像中目标的几何结构；基于MS波段传感器的调制传输函数定义低通滤波器，自适应地限制注入空间细节的数量，显著降低了融合MS图像的光谱失真；针对Pan-sharpening模型的不适定性问题，引入L1正则化能量项，保证了数值解的稳定性.采用Split Bregman数值方法求解能量泛函的最优解，提高了算法的计算效率.QuickBird、IKONOS和GeoEye-1数据集上的实验结果表明，模型的综合融合性能优于MTF-CON、AWLP、SparseFI、TVR和MTF-Variational等算法.

文章导读

在遥感应用领域, 不同传感器采集的数据在空间和光谱分辨率等方面存在着较大的差异.如高分辨率对地观测卫星QuickBird、IKONOS及GeoEye-1提供了4个多光谱(Multispectral, MS)波段和1个全色(Panchromatic, Pan)波段, 其中MS图像光谱信息丰富, 空间分辨率较低, 而Pan图像空间细节表现力好, 光谱信息却比较单一.为提高MS图像的空间分辨率, 常采用全色锐化(Pan-sharpening)方法将Pan波段图像中的空间细节注入到MS波段图像[1].如果在各个MS波段中注入同样的空间细节, 融合图像将不可避免地产生光谱失真现象.为更有效地保持融合图像的光谱特性, 需要对空间细节的注入方式进行进一步的研究.

现有的Pan-sharpening方法主要分为4类[2]:分量替换法(Component substitution, CS)、多分辨率分析法(Multi-resolution analysis, MRA)、基于稀疏表示的图像融合方法和基于变分PDE的图像融合方法.分量替换法由图像增强算法发展而来, 代表性算法有亮度-色调-饱和度变换法(Intensity-Hue-Saturation, IHS)[3-4]与主成分分析法(Principal component analysis, PCA)[5-6]. Leung等[7]在传统IHS算法的基础上提出了一种自适应的Adaptive IHS融合算法, 通过定义权重矩阵控制注入MS图像的空间细节, 有效降低了融合图像的光谱失真程度. Shah等[8]提出了改进的PCA融合算法, 根据交叉相关性自适应地选择需要替换的主分量, 融合性能优于传统的PCA方法.考虑到传感器的调制传输函数(Modulation transfer function, MTF)在遥感图像成像过程中的重要性, Vivone等[9]在MTF-CON模型中基于MTF构造高通滤波器提取Pan图像中的空间信息, 然后通过Brovy变换将其注入MS图像中, MS图像的光谱信息得到有效保持.多分辨率分析法针对遥感图像在多个分辨率下的不同特征构建相应的融合规则, 有效利用了图像中的低频信息与高频信息, 主要分为基于拉普拉斯金字塔的融合[10-11]与基于小波变换的融合[12-13]两类.苗启广等[14]对传统的拉普拉斯融合算法进行了改进, 在图像重构过程中采用了新的算法, 有效抑制了图像噪声. Otazu等[15]提出了AWLP (Additive wavelet luminance proportional)融合算法, 基于多孔小波从Pan波段图像中获取小波面即高频信息, 再根据MS各波段图像所占的亮度比例注入空间细节, 在2006年的融合算法竞赛中展现出了良好的性能.基于稀疏表示的图像融合为了使融合图像最大程度得保持MS图像的光谱信息和Pan图像的空间信息, 融合需要寻找图像的最优表示字典[16-18], Li等[19]从压缩感知理论出发, 将图像融合转化为稀疏信号的恢复问题, 通过BP (Basis pursuit)算法求解稀疏系数并进而重构融合图像. Jiang等[20]在此基础上构建了低分辨率MS图像与高分辨率Pan图像混合字典, 降低了计算的复杂度. Li等[21]提出了一种新的稀疏表示策略, 该模型能够在不需要训练集的情况下构建高分辨率MS图像字典, 提高了模型的实用性.为获取高质量的融合目标, Zhu等[22]提出的SparseFI融合算法基于源图像中的Pan图像与其对应的下采样图像组成联合字典, 生成的融合图像较为清晰, 且光谱失真较小.近年来, 变分方法应用于图像融合, 取得了显著的成果, Socolinsky等[23]提出了多通道图像对比度模型, 通过能量泛函最小化获取增强后的融合图像.马宁等[24]在对比度模型的基础上构造了一个改进的能量泛函, 生成的融合图像具有更高的对比度.周雨薇等[25]提出了一种基于MTF的变分融合模型(MTF-Variational), 根据MTF构建MS波段图像的低通滤波器以保持光谱信息, 基于Laplacian高通滤波器抽取Pan图像中的空间细节, 在提高融合图像空间质量的同时, 有效地保持了MS图像的高光谱分辨率. Palsson等[26]假设Pan图像为各波段融合图像的线性组合, 在变分框架中引入全变差正则化项(Total variation regularization, TVR), 通过数值计算方法生成融合后的MS图像. Zhou等[27]将GIHS模型引入变分框架, 通过MTF限制了各波段注入的空间信息, 有效降低了融合图像的光谱失真.

融合图像常应用于目视解译和地物分类, 因此, 需要生成兼具高空间对比度和高光谱分辨率的融合产品.本文提出一种基于边缘增强与光谱特性保持的变分融合模型, 能量泛函由4项组成.基于Pan与MS波段图像间的线性组合关系定义细节注入能量项, 通过拟合退化后的Pan图像与MS图像间的线性关系得到各波段的权重系数; 为提升融合图像的目视解译效果, 基于梯度加权函数定义边缘增强项, 有效地保持了全色波段图像中感兴趣目标的几何结构, 显著提高了图像的对比度; 为降低融合图像的光谱失真, 基于MS波段传感器的MTF定义光谱保真能量项, 根据各波段图像的特性自适应地注入空间细节; 为解决Pan-sharpening模型的不适定性问题, 在变分框架中引入了L1正则化项, 保证了数值解的稳定性, 与TV正则化相比, L1正则化的稀疏性能够更有效地保持融合图像的边缘.

图 1  梯度幅值对比图

图 2  参数对融合结果的分析

图 3  IKONOS融合结果

本文提出了一种基于边缘增强与光谱特性保持的变分融合模型, 以生成具有高空间分辨率和高光谱分辨率的MS图像.假设在不同尺度下Pan图像与MS图像的线性关系保持不变, 通过拟合退化的Pan图像与原MS图像间之间的线性关系定义空间细节能量泛函, 提高了MS图像的空间质量.为了更有效地解译MS图像中的感兴趣目标, 根据Pan图像的梯度定义边缘增强能量泛函, 在MS图像中注入了Pan图像目标的几何结构.为了有效地降低融合过程中MS图像的光谱失真, 定义了光谱保真能量泛函, 基于多光谱波段传感器的MTF设计低通滤波器, 限制了注入MS图像空间细节的数量.变分框架下L1正则化能量项的引入, 保证了数值解的稳定性. QuickBird、IKONOS及GeoEye-1数据集上的实验验证了模型的有效性, 综合融合性能优于MTF-CON、AWLP、SparseFI、TVR和MTF-Variational等算法.但模型中权重系数较多, 如何自适应地选择权重系数将是下一步的研究方向.