材质视觉特征是一种基于视觉机制的高阶综合特征，描述了图像或图像区域对应目标的材质信息，从中可以获取目标的材质属性及其性质。通过视觉系统得到的材质视觉特征，能够帮助我们在接触物体之前，决定我们以何种接触方式更加合适，如果材质易碎，需小心接触；若材质密度较高，则考虑使用更大的力量搬动。

从视觉特征映射的角度着手，来获取图像目标的材质视觉特征空间信息，进而完成不同图像间目标材质视觉特征映射，得到 “点石成金”的材质视觉特征映射效果。现有方法中，无论是传统方法或是基于深度学习的方法，虽然也能在材质视觉特征映射问题上取得一定的效果，但仍存在着一些问题，例如：

1）对于无标签的自然场景图像，无法有效获取相应的材质视觉特征，进行特征映射；

2）由于材质视觉特征的自身属性, 光照信息在进行材质视觉特征映射过程中, 往往会带来一定的影响；

3）目标与背景的相似性, 在材质视觉特征映射过程中，会带来一定的干扰, 导致不能准确地获取目标材质视觉特征空间;

……

针对以上问题，现有方法难以满足自然场景材质视觉特征映射的要求，因此亟需提出一种基于自然场景图像的材质视觉特征映射算法，在图像层面中达到类似“点石成金”的视觉效果，在不改变图像目标的基础上完成材质视觉特征映射。

图1 成语“点石成金”

物体的材质视觉特征和物体的颜色、亮度、纹理、空间位置一样, 是物体的视觉固有属性。材质特征可以简单地看作是物体表面各可视特征属性的结合, 这些特征属性包括物体表面的纹理、色彩、光滑度、透明度、折射率等, 正是这些特征的有机融合，构成了材质视觉特征这一高阶综合特征。

为有效获取图像目标材质视觉特征空间，完成特征映射，本文提出了一种基于循环生成对抗网络(Cycle-GAN)的自然场景图像目标材质视觉特征映射算法。如图2所示，使用两个生成对抗网络组成循环生成结构, 在特征映射网络的学习训练过程中, 采用自然场景下的无标签图像作为训练数据, 形成无监督学习方式。同时, 在前期处理过程中加入了相应的处理方法, 有效避免了光照信息和背景相似性的影响。最终, 完成自然场景下不同目标间的材质视觉特征映射。

图2 基于循环生成对抗网络的自然场景图像目标材质视觉特征映射算法框架

如何有效获取图像目标材质视觉特征并完成特征映射？目前，无论是传统方法或是基于深度学习的方法，在材质视觉特征映射中，尚存在特征提取困难、自然场景图像无对应标签等问题。鉴于此，本文提出了一种自然场景图像的目标材质视觉特征映射算法，有效获取自然场景图像目标的材质视觉特征，并进行材质视觉特征映射，在不改变图像目标形状的情况下，完成不同材质视觉特征间映射转换，达到一种“点石成金”的视觉效果。具体的算法步骤可以概括如下：

1) 获取能表征材质视觉重要特征的反射层图像；

2) 前景、背景分割，得到目标图像；

3) 利用Cycle-GAN对材质视觉特征进行无监督学习，获得对图像目标材质视觉特征空间的高阶表达，实现目标材质视觉特征的映射。

随着深度学习技术的兴起，吸引了越来越多的研究人员开始从深度特征映射学习的角度着手，获取图像目标的材质视觉特征空间信息，进而完成不同图像间目标材质视觉特征映射。本文在分析已有方法不足的基础上，提出了一种自然场景图像的目标材质视觉特征映射算法，运用获取的目标反射层图像，通过在生成对抗网络基础上加入循环结构，构成循环生成对抗网络来获取材质视觉特征空间，继而完成特征映射，得到材质视觉特征映射后的图像。在主观视觉效果上，在不改变图像目标的基础上，完成不同目标间的材质视觉特征映射，达到“点石成金”的视觉效果。

引用格式：李策, 贾盛泽, 曲延云. 一种自然场景图像的目标材质视觉特征映射算法. 自动化学报, 2019, 45(6): 1198-1206. 

链接：http://html.rhhz.net/ZDHXBZWB/html/2019-6-1198.htm

作者简介：

李策，工学博士, 兰州理工大学电气工程与信息工程学院教授。主要研究方向

为计算视觉与模式识别, 智能机器人, 图像处理及应用。本文通信作者。

E-mail: xjtulice@gmail.com

贾盛泽，兰州理工大学硕士研究生。主要研究方向为计算机视觉与图像处理。

E-mail: jiasz0607@163.com

曲延云，工学博士, 厦门大学信息科学与技术学院计算机科学系教授。主要研

究方向为模式识别, 计算机视觉和机器学习。

E-mail: yyqu@xmu.edu.cn