引用本文

刘国梁, 余建波. 基于堆叠降噪自编码器的神经–符号模型及在晶圆表面缺陷识别. 自动化学报, 2022, 48(11): 2688−2702 doi: 10.16383/j.aas.c190857

Liu Guo-Liang, Yu Jian-Bo. Application of neural-symbol model based on stacked denoising auto-encoders in wafer map defect recognition. Acta Automatica Sinica, 2022, 48(11): 2688−2702 doi: 10.16383/j.aas.c190857

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190857

关键词

晶圆表面缺陷，深度学习，堆叠降噪自编码器，符号规则，知识发现 

摘要

深度神经网络是具有复杂结构和多个非线性处理单元的模型, 通过模块化的方式分层从数据提取代表性特征, 已经在晶圆缺陷识别领域得到了较为广泛的应用. 但是, 深度神经网络在应用过程中本身存在“黑箱”和过度依赖数据的问题, 显著地影响深度神经网络在晶圆缺陷识别的工业可应用性. 提出一种基于堆叠降噪自编码器的神经–符号模型. 首先, 根据堆叠降噪自编码器的网络特点采用了一套符号规则系统, 规则形式和组成结构使其可与深度神经网络有效融合. 其次, 根据 网络和符号规则之间的关联性提出完整的知识抽取与插入算法, 实现了深度网络和规则之间的知识转换. 在实际工业晶圆表面图像数据集WM-811K上的试验结果表明, 基于堆叠降噪自编码器的神经–符号模型不仅取得了较好的缺陷探测与识别性能, 而且可有效提取规则并通过规则有效描述深度神经网络内部计算逻辑, 综合性能优于目前经典的深度神经网络.

文章导读

半导体作为应用最为广泛的元器件之一, 其制造过程需要经过薄膜沉积、蚀刻、抛光等众多复杂工艺流程, 生产过程中的任何异常都可能导致晶圆表面缺陷的产生[1]. 除了需要对晶圆制造过程中的关键参数进行控制和预测[2], 准确识别晶圆表面的各种缺陷模式, 也有助于提升晶圆制造质量, 降低半导体生产废品率, 避免因大批量晶圆表面缺陷而造成的巨大损失.

早期的晶圆表面缺陷识别方法主要通过统计学方法实现. Hess等[3]研究晶圆缺陷密度分布实现对成品率的预测. Friedman等[4]采用无模型的缺陷聚类方法实现对晶圆表面缺陷的形状、大小和分布的检测. Yuan等[5]在前人研究的基础上提出一种基于贝叶斯推论的模式聚类演算法, 可进一步检测曲线模式、椭球模式、非均匀全局缺陷模式. 这些方法的缺陷在于只是对晶圆缺陷进行了统计分析, 并没有做到对缺陷类别的精准识别, 对实际生产过程帮助有限.

随着机器学习和深度学习的崛起, 线性判别方法[6]、反向传播网络[7]、广义回归神经网络[8]、支持向量机[8-10]、深度神经网络[11-14]等模型已被广泛地应用于晶圆表面缺陷识别, 其中堆叠降噪自编码器(Stacked denoising auto-encoders, SDAE)作为经典的深度学习模型, 凭借其强大的学习能力, 取得了不错的结果[13-14]. 但是, 上述模型仍然存在以下2个问题: 1)虽然以卷积神经网络和SDAE为代表的深度神经网络模型凭借其强大的特征提取能力, 在晶圆缺陷识别问题上取得了较好的结果, 但是深度网络模型始终存在不可被解释的缺陷. 这一缺陷使得深度神 经网络在WMPR上的应用存在很多困难. 2)传统机器学习模型如支持向量机、决策树等可以通过数学或逻辑途径进行解释和验证, 但是它们的缺陷识别能力并不高.

纵观神经网络发展史, 研究者们一直在尝试弥补神经网络不可被解释的缺陷. 通过对网络的结构参数或统计意义进行分析, 以达到解释网络的目的是当下的主流研究方向[15]. Gallant[16]最早提出利用IF-THEN形式的规则解释神经网络的推理结果, 形成神经网络专家系统. 其后Towell等[17]提出基于知识的人工神经网络(Knowledge-based artificial neural network, KBANN), 该模型通过从网络中抽取和插入规则, 实现了逻辑规则与神经网络之间的交互. Garcez等[18]在KBANN的研究基础上提出一种利用符号规则初始化神经网络的方法, 可以帮助模型更高效的学习数据中的知识. 在深度神经网络研究方面, Garcez等[19]提出神经–符号系统的概念, 其核心理念为符号规则负责表述神经网络中蕴含的知识而神经元负责学习和推理, 所生成的模型同时具备高鲁棒性、高识别性能以及可解释性. 在这一概念的基础上, Odence等[20]将受限玻尔兹曼机与符号规则相结合, 为符号规则与深度神 经网络的结合打下基础; Tran等[21]在前人研究基础上首次提出了从深度置信网络(Deep belief network, DBN)中抽取和插入符号规则的算法, 具有里程碑意义; 刘国梁等[22]提出一种混合规则并将它与堆叠降噪自编码器集成, 但该算法计算成本高, 难以适应大规模复杂问题, Hitzler等[23]在符号–神经系统的基础上, 详细介绍语义网的神经符号研究的前景和优势, 并分析了其对深度学习的潜在场景. Bennetot等[24]提出了一种推理模型来解释神经网络的决策, 并使用解释从网络原理来纠正其决策过程种的偏差. 在推理模型方面: Li等[25]从功能角度将逻辑语言与神经网络相结合, 形成了一种新的学习推理模型, 同时具备连接主义和符号主义的优势. Sukhbaatar等[26]提出了记忆网络, 引入了记忆机制来解决对推理过程中间结果的存储问题, 对神经符号系统进行了进一步的探索, 赋予了神经网络符号化的结构, 对后续的研究有着重要的启发意义. Sawant等[27]在知识图和语料库的基础上建立了一套推理系统, 可以解释模型中不可观察或潜在的变量. Liang等[28]进一步引入了符号化的记忆机制, 帮助神经网络更好地完成复杂推理. Salha等[29]利用简单的线性模型替代图自编码器等模型中的图卷积网络, 简化了模型计算. 同时, Salha等[30]提出了一个通用的图自编码器和图变分自编码器的框架. 该框架利用图的简并性概念, 只从密集的节点子集中训练模型, 从而显著提高了模型的可伸缩性和训练速度. 综上所述, 目前对传统深度学习模型 (比如DBN或SDAE)的可解释性研究已经初见成效, 但在卷积神经网络类网络中, 卷积等运算带来的复杂问题在可解释性上还有待研究. 如何建立一套适用于晶圆缺陷识别的神经–符号模型是本文研究的重点.

针对晶圆缺陷识别问题的特点, 基于神经与符号相结合的理念, 本文采用一种基于SDAE的神经–符号模型[22], 构建了基于知识的堆叠降噪自编码器(Knowledge-based stacked denoising auto-encoder, KBSDAE), 并建立了一套基于KBSDAE的晶圆表面缺陷识别系统, 以达到快速、高效识别晶圆表面缺陷的目的. 本文的主要贡献包括: 1)提出了全新的符号规则形式, 可有效地表达SDAE的深度网络结构, 极大地减少了知识转化过程中的信息损失; 2)提出了规则抽取与插入算法, 在实现知识高效转化的同时提升SDAE特征学习性能; 3)提出了基于神经–符号系统的晶圆缺陷识别模型, 既可以识别缺陷模式, 也可以通过规则理解网络内部的推理逻辑, 并使得深度神 经网络具有了可解释性. 基于SDAE的神经–符号系统成功应用在实际工业案例中且取得了较好的特征学习和识别性能, 是在晶圆表面缺陷识别领域的一次新的尝试.

图1 堆叠降噪自编码器

图2 堆叠降噪自编码器的神经–符号模型

图3 置信度规则初始化网络过程示意图

由于实际制造工况的复杂性, 如何解决深度神经网络在应用过程中出现的不可解释和依赖数据源的问题是晶圆缺陷识别领域迫切需要解决的问题. 本文提出了一种基于SDAE的神经–符号模型. 针对SDAE设计了适配的符号规则形式, 同时提出了适用于网络和规则的知识转化算法. 建立了一套基于KBSDAE的晶圆表面缺陷识别系统, 可有效地探测与识别晶圆缺陷模式. 试验结果表明, 在利用晶圆数据建模的过程中不仅规则可有效描述网络表述知识, 而且插入知识的网络同时具备高识别性能. 在未来研究中, 将继续探索神经–符号系统, 尝试更复杂深度网络模型(比如卷积神经网络), 提高模型性能和可解释性.

作者简介

刘国梁

同济大学机械与能源工程学院硕士研究生. 2018年获上海大学学士学位. 主要研究方向为机器学习, 深度学习和智能质量管控. E-mail: guoliangliutt@163.com

余建波

同济大学机械与能源工程学院教授. 2009年获上海交通大学博士学位. 主要研究方向为机器学习, 深度学习, 智能质量管控, 过程控制, 视觉检测与识别. 本文通信作者.E-mail: jbyu@tongji.edu.cn