引用本文

刘金平, 何捷舟, 唐朝晖, 谢永芳, 马天雨. 基于WCGAN的矿物浮选泡沫图像光照不变颜色提取. 自动化学报, 2022, 48(9): 2301−2315 doi: 10.16383/j.aas.c190330

Liu Jin-Ping, He Jie-Zhou, Tang Zhao-Hui, Xie Yong-Fang, Ma Tian-Yu. WCGAN-based illumination-invariant color measuring of mineral flotation froth images. Acta Automatica Sinica, 2022, 48(9): 2301−2315 doi: 10.16383/j.aas.c190330

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190330

关键词

浮选泡沫图像，循环生成对抗网络，光照不变颜色特征，Wasserstein距离，结构保持 

摘要

浮选泡沫表面颜色是选矿生产指标(精矿品位)最为快速便捷的直接指示器. 然而, 泡沫图像信号因受多种可变光照的交叉干扰而不可避免存在严重色偏, 导致浮选指标难以准确评估. 本文将传统的基于光照估计的图像颜色恒常问题转换为一种结构保持的图到图颜色(风格)转移问题, 提出一种基于Wasserstein距离的循环生成对抗网络(Wasserstein distance-based cycle generative adversarial network, WCGAN)用于泡沫图像光照不变颜色特征在线监测. 在标准颜色恒常数据集和实际的工业铝土矿浮选过程进行实验验证, 结果表明, WCGAN能有效实现各种未知光照条件下(色偏)图像到基准光照条件下的颜色转换, 转换速度快且具有模型在线更新功能. 与传统的基于生成对抗学习的颜色转换模型相比, WCGAN能更好地保持泡沫图像的轮廓和表面纹理等结构信息, 为基于机器视觉的矿物浮选过程生产指标的在线监测提供了有效的客观评价信息.

文章导读

泡沫浮选是应用最为广泛的一种矿物分选方法, 同时也是矿物加工中最不稳定和最不可预测的步骤之一[1]. 精矿品位是衡量精矿产品质量、判断选矿水平高低的关键性指标. 然而, 由于浮选工业过程是典型多相流复杂耦合系统, 系统中包含复杂的物理化学变化, 目前还难以实现浮选精矿品位的在线检测[2].

研究表明浮选泡沫表面颜色是精矿品位最为快速便捷的直接指示器[3-5]. 有经验的生产工人正是通过观察泡沫表面颜色对精矿品位以及生产工况进行评判, 以便对生产进行操作调整. 因此, 近年来, 国内外许多专家学者对基于机器视觉浮选过程监控开展了一系列研究[4-7], 以期通过自动分析泡沫图像颜色、尺寸等特征, 实现精矿品位的在线监测.

然而, 在实际的工业浮选过程监控中, 因为泡沫图像信号会受到多种可变光照的影响, 包括泡沫图像采集系统的光源衰减、自然光照强度和入射角度的变化以及选厂中各种灯光设备的照明变化等, 都会对泡沫图像的颜色的准确测量带来严重干扰[7]. 从而难以获得鲁棒的泡沫颜色特征, 进而也就难以基于所获得的泡沫颜色特征对精矿品位进行准确预报. 因此, 要保证基于机器视觉的矿物浮选过程监控系统的有效性和实用性, 获取开放环境下、不受光照影响的泡沫表面的颜色特征成为当务之急.

为获取不受光照影响的图像恒常颜色特征, 一些研究者针对人类视觉所具有的可变光照颜色恒常感知能力, 对工业视觉检测中的颜色恒常计算模型和方法进行了大量的研究[8].

传统的图像颜色恒常模型都是基于某种视觉感知假设(约束)对入射光进行全局分析与建模, 根据光照估计结果对非基准光照(色偏)图像进行颜色校正[9-10]. 然而, 由于人类视觉的颜色恒常感知机理目前还没有很好地掌握, 将一些简单的感知假设应用于颜色恒常计算时, 往往难以获得令人满意的校正结果[11]. 因而, 一些研究者期望直接从图像数据中对场景的真实光照或者真实颜色进行分析.

自从有研究者将神经网络[12]等机器学习方法引入到图像的色度估计中之后, 基于机器学习的颜色恒常处理方法, 因其计算速度快、适应性强、可在线更新等优点, 引起国内外研究者广泛关注. 特别是近年来, 随着深度卷积网络的盛行, 基于深度学习的颜色恒常方法更是受到了学术界和工业界的高度关注[10, 13-14].

Bianco等[14]首次采用深度卷积网络进行光照估计. Oh等[10]采用深度卷积神经网络将传统的颜色恒常中的光照估计问题转换为光照分类问题. 然而, 该方法所采用网络模型结构复杂, 无法满足工业监控实时性需求. 为了提高模型效率, Hu等[13]采用全卷积神经网络来取代全连接网络, 并采用更轻量级的SqueezeNet网络结构替换了AlexNet网络结构, 以缩减网络模型计算时长.

在工业浮选过程监控中, 浮选泡沫图像光照情况复杂多变, 很难对这些相互干扰的、可变多光照进行有效估计或者分类. 因此, 传统的基于光照估计的颜色恒常方法会因光照估计的失败导致对泡沫图像颜色校正时出现模糊、伪色块等严重的图像失真问题, 难以满足工业浮选过程监控的实际需求.

实际上, 在基于机器视觉的矿物浮选过程监控中, 更重要的是要能有效估计出各种未知光照条件下所采集到的泡沫图像在某种基准光照条件下的色域显示, 以获得能有效反映浮选工况或者精矿品位的泡沫颜色信息, 实现基于泡沫图像特征的工况鉴别和精矿品位在线监测.

因此, 泡沫图像颜色恒常处理可以看作一种图像到图像的颜色(风格)转移, 也就是要将未知光照下的泡沫图像转换到某种特定光照下的颜色显示. 与传统图像风格转移目标不同的是, 在进行泡沫图像颜色转移时, 要能有效保持泡沫图像中复杂的气泡轮廓、表面纹理结构的不变性(因为泡沫的表面几何特征和表面纹理特征也与浮选生产工况, 比如加药健康状态[3, 7, 15], 有较大的相关性).

生成对抗网络(Generative adversarial network, GAN)[16]及其改进模型, 比如Pixel2Pixel[17], CycleGAN[18]是目前常用的图像风格转移模型. 但是, 传统的基于GAN的图像生成方法是基于随机噪声进行图像生成无法实现图到图的颜色风格转移, 难以保证气泡轮廓和表面纹理的结构不变性, 无法直接应用于泡沫图像光照不变颜色特征监测.

本文提出一种基于Wasserstein距离的循环生成式对抗网(Wasserstein distance-based cycle GAN, WCGAN)用于泡沫图像光照不变颜色特征检测. WCGAN由具有对称结构和循环一致性约束的两个GAN组成, 可获得各种未知光照条件下泡沫图像色域信息与基准光照下色域信息的非线性映射关系, 从而实现各种非恒定光照下色偏泡沫图像到基准光照下的颜色显示, 并有效保持颜色校正图像的结构不变性. 本文主要研究工作和创新点总结如下:

1) 提出一种基于WCGAN的泡沫图像颜色校正方法, 将传统的基于光照估计的颜色恒常问题转换为一种结构保持的图像到图像的颜色(风格)转换问题, 以实现各种未知光照条件下的泡沫图像到基准色域下的颜色表示.

2) WCGAN基于CycleGAN模型的循环对称结构和循环一致性约束, 采用Wasserstein距离对CycleGAN中的生成对抗损失函数进行优化修改, 并对其生成器结构进行改进, 使得WCGAN模型能在进行图像颜色转换的同时有效保持原始图像轮廓和纹理结构的不变性.

实验表明, WCGAN具有收敛速度快、生成结果稳定的优点且具有在线修正功能, 可对各种复杂工况进行有效监测, 满足浮选过程监测时效性的要求, 为实现浮选过程精矿品位在线监测奠定基础.

图1 泡沫图像光照转换思想

图2 CycleGAN结构图

图3 WCGAN的生成器结构

在基于机器视觉的矿物浮选过程监测中, 泡沫图像信号因受多种可变光照的交叉干扰而不可避免存在严重色偏. 本文提出了一种基于WCGAN泡沫图像颜色校正方法. WCGAN通过学习基准色域的泡沫图像与真实工况环境下的泡沫图像色域的映射关系, 可以将各种未知光照条件下的泡沫图像转换到基准色域下颜色显示, 进而获得不受光照影响的泡沫颜色特征.

在实际的铝土矿浮选过程中进行了工业验证, 结果表明, 所提方法能在进行泡沫图像颜色校正的同时, 有效保持图像的几何轮廓和表面纹理特性. 进而, 基于基准光照下的校正泡沫图像颜色特征, 能实现铝土矿浮选过程精矿品位有效预测, 为基于机器视觉的矿物浮选过程的自动化监测提供了技术支撑.

下一步的工作是结合本文所提出的光照不变泡沫颜色特征提取方法融合泡沫图像其他视觉特征(如表面纹理、几何轮廓特征)和冶金过程参量(如流量、矿浆浓度、细度、pH值), 实现矿物浮选过程工况的准确鉴别和精矿品位的在线监测, 根据精矿品位或者工况的变化情况提出相应的过程加药量优化设定方法, 保证浮选过程的稳定优化运行, 为提高选矿产品质量和降低矿物资源消耗奠定基础.

作者简介

刘金平

湖南师范大学信息科学与工程学院副教授. 主要研究方向为智能信息处理. 本文通信作者.E-mail: ljp202518@163.com

何捷舟

湖南师范大学信息科学与工程学院硕士研究生. 主要研究方向为计算机视觉和模式识别.E-mail: hdc@smail.hunnu.edu.cn

唐朝晖

中南大学自动化学院教授. 2005年至2006年任德国杜伊斯堡−埃森大学访问学者. 主要研究方向为信号处理和工业过程故障诊断. E-mail: zhtang@csu.edu.cn

谢永芳

中南大学自动化学院教授. 主要研究方向为复杂工业过程的建模与控制, 分散鲁棒控制, 故障诊断. E-mail: yfxie@csu.edu.cn

马天雨

博士, 湖南师范大学物理与电子学院讲师. 主要研究方向为复杂工业过程建模及优化控制.E-mail: mty@hunnu.edu.cn