引用本文

辛亮亮, 宋铁成, 张刚, 高陈强, 张天骐. 基于局部补数-导数模式的光照反转和旋转不变纹理表达.自动化学报, 2021, 47(4): 924-932 doi: 10.16383/j.aas.c180201

Xin Liang-Liang, Song Tie-Cheng, Zhang Gang, Gao Chen-Qiang, Zhang Tian-Qi. Illumination-inversion and rotation invariant texture representation based on local complement and derivative pattern. Acta Automatica Sinica, 2021, 47(4): 924-932 doi: 10.16383/j.aas.c180201

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180201

关键词

纹理分类，特征提取，光照变化，局部二值模式 

摘要

针对现有局部二值模式(Local binary pattern, LBP) 算法对光照反转变化敏感和特征描述力不足的问题, 本文提出一种基于局部补数-导数模式(Local complement and derivative pattern, LCDP) 的纹理表达方法. 其中, 局部补数模式(Local complement pattern, LCP) 用于编码原始图像空间中的近邻差分符号信息, 局部导数模式(Local derivative pattern, LDP) 用于编码不同尺度下(一阶和二阶) 高斯导数空间中的近邻差分幅值信息, 二者对光照反转和图像旋转均具有鲁棒性. 为实现对差分符号和差分幅值的联合统计, 同时维持特征的紧致性, 进一步提出基于均值采样的联合编码方案. 最后, 对联合编码的结果进行多尺度直方图特征表达. 实验表明, 该方法能够有效提高线性和非线性光照反转条件下纹理图像的分类精度.

文章导读

纹理是一种重要的视觉特征, 它反映了像素灰度的空间分布规律, 传达了物体的表面结构信息. 提取有效的纹理特征是图像处理和计算机视觉领域研究的基础问题, 在纹理分类[1-3]、纹理分割[4]、场景识别[5]、图像匹配[6]等视觉任务中扮演重要角色. 由于图像内在的纹理结构呈现多样化以及外部成像条件的不可预知性(如旋转、光照、尺度和视角等变化), 提取对各种图像变化具有不变性的纹理特征是一个富有挑战性的问题.

近几十年来, 学者们提出了一系列的纹理特征提取方法, 包括灰度共生矩阵[7]、马尔科夫随机场[8]、Gabor滤波[9]和小波变换[10]等. Ojala等[2]提出了局部二值模式(Local binary pattern, LBP), 该方法通过编码像素差分的符号信息来建立直方图特征, 具有计算复杂度低、对光照和旋转变化鲁棒等优点. 受其启发, 研究者们提出了许多LBP的衍生算法[11-12]. 例如, 在提高抗噪性能方面, Tan等[13]提出了局部三值模式(Local ternary pattern, LTP)将局部差分符号量化为三值模式以降低噪声对像素差分编码值的影响. Song等[14]利用局部差分模板提出了抗噪的局部对比度模式(Local contrast pattern, LCP). Liu等[15]基于局部平均的思想提出了对噪声鲁棒的BRINT (Binary rotation invariant and noise tolerant)描述符. 在提高特征鉴别力方面, 研究者们提出了完整的LBP (Completed LBP, CLBP)[16]、完整的局部二值计数(Completed local binary count, CLBC)[17]和基于变换域的方法, 包括局部Gabor二值模式[9]、局部编码变换特征直方图(Locally encoded transform feature histogram, LETRIST)[18]和局部空频模式联合编码(Joint coding of local space-frequency pattern, jcLSFP)[19].

尽管上述LBP的衍生算法获得了一定成功, 但是它们对图像的光照反转变化十分敏感. 光照反转现象是由反射、曝光、前景或者背景变化等引起的图像灰度值相对大小的改变[20-23]. 图 1显示了真实生活场景中存在的光照反转现象. 可以看到, 不同于普通的光照变化, 光照反转使得原先图像中明亮的区域变得暗淡, 反之亦然. 由于LBP编码局部像素对的差分符号信息, 即以中心像素为门限将近邻像素量化为包含"0"和"1"比特的二值模式, 光照反转时LBP将产生完全不同的编码值(见图 2), 这会严重影响LBP及其衍生算法在分类和识别等任务中的性能.

图 1  真实生活场景中的光照反转现象

图 2  光照反转对LBP编码值的影响

针对上述问题, Nguyen等[20]提出了非冗余的LBP (Non-redundant LBP, NRLBP), 通过寻找LBP二进制码与其反码的最小值来解决对象检测中前景和背景灰度值相对变化的问题. Jun等[21]提出了局部梯度模式(Local gradient pattern, LGP), 通过编码局部差分的幅值来解决光照反转不变性. 类似地, He等[22]提出了梯度LBP (Gradient LBP, GLBP) 来解决纹理分类中的光照反转问题. 为实现旋转不变性, 该方法通过遍历所有方向的特征直方图来寻求最小的匹配距离, 因此计算复杂度比较高. Song等[23]提出了排序的LGP (Sorted LGP, SLGP), 在编码梯度信息的同时还利用主导灰度序来编码中心像素. 在上述4种方法中, NRLBP和LGP没有考虑旋转不变性, LGP、GLBP和SLGP仅考虑了像素差分的幅值信息, 忽略了重要的差分符号信息, 而且这4种方法均表现出有限的特征描述力.

基于以上观察, 本文从一个新的角度去解决LBP特征的光照反转不变性, 同时提高特征的描述力. 首先, 提出两种互补性的、对光照反转和图像旋转鲁棒的纹理算子: 局部补数模式(Local complement pattern, LCP)和局部导数模式(Local derivative pattern, LDP). 前者用于编码原始图像空间中的近邻差分符号信息, 后者用于编码不同尺度下(一阶和二阶)高斯导数空间中的近邻差分幅值信息. 然后, 提出基于均值采样的联合编码方案, 其目的是提高特征的表达力, 同时维持特征的紧致性. 最后, 对联合编码的特征进行多尺度的直方图表达, 获得纹理图像描述符, 即局部补数-导数模式(Local complement and derivative pattern, LCDP)特征. 实验表明, 本文方法能够很好地解决纹理分类任务中的光照反转和图像旋转问题, 并在线性和非线性光照反转条件下取得了很高的分类精度.

图 6  LCP、LDP和LCDP在线性光照反转条件下的分类精度

针对现有LBP算法对光照反转变化敏感和特征描述力不足的问题, 本文提出一种基于局部补数-导数模式(LCDP)的纹理表达方法. 局部补数模式(LCP)用来编码原始图像空间中的差分符号信息, 局部导数模式(LDP)用来编码一阶和二阶高斯导数空间中的差分幅值信息, 二者具有互补性. 为提高特征的表达力同时维持特征的紧致性, 本文进一步提出基于均值采样的联合编码方案. 最终的纹理描述符是融合多尺度信息的、联合编码差分符号与差分幅值信息的直方图特征表达. 对三个基准数据库Outex、CUReT和KTH-TIPS进行纹理分类, 实验表明该方法能够有效解决线性和非线性变换条件下的光照反转问题, 并对图像的旋转、尺度和视角等变化具有很强的鲁棒性. 本文方法所采用的邻域特征对于非均匀光照变化还存在一定的局限性. 在未来工作中我们将会进一步考虑非均匀光照变化的具体建模和相应的特征提取问题.

作者简介

辛亮亮

重庆邮电大学硕士研究生. 主要研究方向为纹理特征提取. E-mail: xxinliangliang@126.com

张刚

重庆邮电大学副教授. 主要研究方向为混沌通信与微弱信号检测. E-mail: zhanggang@cqupt.edu.cn

高陈强

重庆邮电大学教授. 主要研究方向为图像处理与计算机视觉. E-mail: gaocq@cqupt.edu.cn

张天骐

重庆邮电大学教授. 主要研究方向为通信信号处理与多媒体信息处理. E-mail: zhangtq@cqupt.edu.cn

宋铁成

重庆邮电大学讲师. 主要研究方向为图像处理与计算机视觉. 本文通信作者. E-mail: xyzren@yeah.net