引用本文

刘丽, 赵凌君, 郭承玉, 王亮, 汤俊. 图像纹理分类方法研究进展和展望. 自动化学报, 2018, 44(4): 584-607. doi: 10.16383/j.aas.2018.c160452

LIU Li, ZHAO Ling-Jun, GUO Cheng-Yu, WANG Liang, TANG Jun. Texture Classification: State-of-the-art Methods and Prospects. ACTA AUTOMATICA SINICA, 2018, 44(4): 584-607. doi: 10.16383/j.aas.2018.c160452

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c160452

关键词

纹理分类，特征提取，深度学习，局部特征描述，计算机视觉 

摘要

纹理分类是计算机视觉和模式识别领域的一个重要的基本问题，也是图像分割、物体识别、场景理解等其他视觉任务的基础.本文从纹理分类问题的基本定义出发，首先，对纹理分类研究中存在的困难与挑战进行阐述；接下来，对纹理分类方面的典型数据库进行全面梳理和总结；然后，对近期的纹理特征提取方法的发展和现状进行归类总结，并对主流纹理特征提取方法进行了详细的阐述和评述；最后，对纹理分类发展方向进行思考和讨论.

文章导读

作为一种重要的视觉线索, 纹理广泛存在于自然界各种物体的表面, 在图像中则体现为特征值强度的某种局部重复模式的宏观表现.无论是对自然图像、遥感图像或是医学图像而言, 纹理都是一种非常重要的特征.而对于纹理特征的研究也成为图像处理、计算机视觉和模式识别领域中一个难以回避的基础性难题, 一直以来广受研究者的关注.在纹理特征分析上所取得的进展, 不仅对于人类对自身视觉机理的理解和研究具有推动作用, 而且对计算机视觉和模式识别领域的诸多问题起到了重要的支撑作用并得到了广泛的应用, 如视觉导航、场景分类、物体识别、人脸识别、智能视频分析、基于内容的图像和视频检索、遥感图像分析、工业检测、医学图像分析和文本分类等.

有关图像纹理特征分析的研究最早可追溯到1962年Julesz的工作[1].经过50多年的持续研究, 各类理论和算法层出不穷.不少研究者对纹理特征提取方法进行了综述, 代表性的工作有: 1993年, Tuceryan等[2]对早期的纹理特征提取方法进行总结, 将其大致分为5类:基于统计的特征、基于几何的特征、基于结构的特征、基于信号处理的特征和基于模型的特征.同年, Reed等[3]对自1980年以来的纹理特征和纹理分割方法做了简要综述. 1999年, Randen等[4]对基于信号处理的纹理特征的分类性能做了详细的实验比较综述. 2002年, Zhang等[5]的综述着重讨论了不变性纹理特征提取方法. 2007年, Zhang等[6]对当前几种主要的不变性纹理特征提取方法在纹理分类和物体识别中的性能进行了评估. 2008年, Xie等[7]对已有的主要纹理特征提取方法进行了简单的介绍, 并没有进行归类. 2009年, 刘丽等[8]对已有纹理特征提取方法进行了归类和总结, 其总结的方法多为2005年之前. Pietikäinen等[9]、宋克臣等[10]、刘丽等[11]分别对基于局部二值模式(Local binary pattern, LBP)纹理特征及其在纹理分析和人脸识别以及其他领域中的应用进行综述.上述工作中, 文献[2-3]总结的是较早期方法, 文献[4-6]讨论的是某一类型的方法, 文献[7-8]总结的纹理特征提取方法大多为2000年之前的方法, 2000年以后的方法讨论的极少, 近期综述[9-11]仅仅总结了基于LBP的纹理特征.这些文献对当前纹理特征提取方法的论述很不全面, 没有对近十几年以来的纹理特征提取方法进行完整清晰的总结.事实上, 近年来对纹理特征分析的研究催生了一些优秀的图像低层特征表达学习方法, 对物体识别、场景识别、人脸识别和图像分类等计算机视觉领域的其他问题有重要推动作用.因此, 有必要对近10年最新的相关研究成果进行全面的综述和讨论.本文系统综述了纹理特征提取方法的研究进展和当下亟待解决的问题, 以期为进一步深入研究纹理特征分析和理解以及拓展其应用领域奠定一定的基础.

本文从纹理分类问题的基本定义出发, 首先从实例、类别两个层次对纹理分类研究中存在的困难与挑战进行了阐述.接下来, 对纹理分类方面的主流数据库进行了总结.然后, 重点对近期的纹理特征提取方法进行了梳理和归类总结, 详细阐述了代表性方法的动机、原理、优势与不足, 揭示了各种方法之间的区别与联系.最后, 给出了我们对纹理分类的发展方向的一些思考.

图 1  纹理识别难点示例(实例层次: (a)光照变化带来的影响, 图片来自CUReT数据集第30类; (b)视角变化和局部非刚性形变带来的难点, 图片来自UIUC数据集第25类; (c)尺度变化带来的影响, 图片来自KTHTIPS2b数据集.类别层次: (d)同一类别的不同实例图像带来很大类内差异, 图片来自DTD数据集的braided类; (e)材质识别的难点, 图片来自FMD数据集, 正确答案为(从左往右):玻璃, 皮质, 塑料, 木质, 塑料, 金属, 木质, 金属和塑料)

图 2  来自KTHTIPS2的某类图像的样本

图 3  来自MINC数据库中的图像样本(第一行为食物类别, 第二行为foliage类别)

纹理分类是计算机视觉与模式识别领域的一个基础问题, 在计算机视觉研究中具有重要的理论意义和实际应用价值, 同时目前也存在诸多困难与挑战.本文对纹理分类领域主流数据库进行了总结和评述, 对近期纹理特征提取方法进行了详细的梳理和评述, 对主流方法进行了详尽的阐述, 并揭示了其间内在联系.以此为基础, 对纹理分类未来的发展方向进行了分析与展望.我们有理由相信, 纹理分类领域的发展必然会促进计算机视觉领域相关问题的发展, 乃至整个计算机视觉领域的发展.

作者简介

赵凌君

国防科学技术大学电子科学与工程学院副教授.主要研究方向为遥感信息处理, 合成孔径雷达目标自动识别.E-mail:nudtzlj@163.com

郭承玉  

国防科学技术大学信息系统与管理学院博士研究生.主要研究方向为图像理解, 计算机视觉, 模式识别.E-mail:sdlwgcy@126.com

王亮  

中国科学院自动化研究所模式识别国家重点实验室研究员.主要研究方向计算机视觉与模式识别.E-mail:wangliang@nlpr.ia.ac.cn

汤俊  

国防科学技术大学信息系统与管理学院信息系统工程国防科技重点实验室讲师.主要研究方向为智能交通系统, 航迹规划, 深度学习.E-mail:jun.tang@e-campus.uab.cat

刘丽  

国防科学技术大学信息系统与管理学院副教授.主要研究方向为图像理解, 计算机视觉, 模式识别.本文通信作者.E-mail:liuli_nudt@nudt.edu.cn