引用本文

刘广灿, 曹宇, 许家铭, 徐波. 基于对抗正则化的自然语言推理. 自动化学报, 2019, 45(8): 1455-1463. doi: 10.16383/j.aas.c190076

LIU Guang-Can, CAO Yu, XU Jia-Ming, XU Bo. Natural Language Inference Based on Adversarial Regularization. ACTA AUTOMATICA SINICA, 2019, 45(8): 1455-1463. doi: 10.16383/j.aas.c190076

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190076

关键词

深度学习，自然语言推理，语言偏置，对抗正则化 

摘要

目前自然语言推理（Natural language inference，NLI）模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位，但是推理模型更应该去关注连续文本的内在含义和语言的表达，通过整体把握句子含义进行推理，而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外，传统有监督学习方法使得模型过分依赖于训练集的语言先验，而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性，并降低语言偏置的影响，本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型，该模型以标准推理模型中的词编码作为输入，并且只有利用语言偏置才能推理成功；再通过两个模型间的对抗训练，避免标准推理模型过多依赖语言偏置.在SNLI和Breaking-NLI两个公开的标准数据集上进行实验，该方法在SNLI数据集已有的基于句子嵌入的推理模型中达到最佳性能，在测试集上取得了87.60%的准确率；并且在Breaking-NLI数据集上也取得了目前公开的最佳结果.

文章导读

自然语言推理(Natural language inference, NLI)又称为文本蕴含识别(Recognizing textual entailment, RTE)[1-2], 是自然语言处理(Natural language processing, NLP)中一个重要的研究问题.自然语言推理是一个确定两个或多个句子之间逻辑关系的任务, 例如:给定一个前提(Premise)和一个假设(Hypothesis), 目标是确定它们之间的逻辑关系是蕴涵、中立还是矛盾. SNLI[3]和Breaking-NLI[4]等一系列高质量、大规模标准数据集的发布推动了自然语言推理的发展, 促进了大量相关研究[5-11], 表 1展示了几个SNLI数据集中的例子.目前基于神经网络的推理模型主要有两类:一类侧重前提和假设分别进行句子嵌入, 然后使用分类器将其组合起来; 另一类不是分别处理两个句子, 而是使用交互注意力机制进行句子之间的交互.本文关注基于句子嵌入的方法, 因为该方法没有限定要求两个句子, 可以延展到更多任务上.

对自然语言推理广泛的研究使得很多复杂模型在基准数据集上取得了越来越高的表现, 但是最近的研究[11]表明多数模型很少关注前提和假设的句义关系, 而是大量利用句子中个别词之间对立或相似等浅显关系进行推理作答, 更有甚者只是根据假设就可以进行推理.可想而知这些推理模型很难应用到复杂的现实场景中, 它们根据句子中特定词之间的关系进行盲目推理, 比如根据前提中的"expensive"词和假设中的"cheap"词, 简单推理出两个句子是对立关系, 而实际上两句话描述的不是同一件事情, 正确的逻辑关系应该是中立.推理模型过度依赖特定词, 说明模型只是抓住数据集中的语言偏置, 而不是依据前提和假设所表达的句义关系进行逻辑推理.

一种检测语言偏置对推理模型影响的方式是设计一个仅依赖词编码表示进行推理的模型(为了方便描述, 本文使用WIM (Word inference model)表示仅依赖词编码表示进行推理的模型), 事实上WIM也可以作为一个标准的基线模型.本文提出使用对抗正则化方法来降低语言偏置的影响, 具体方法是让一个标准的推理模型和这个只依赖词编码表示进行推理的对手进行博弈, 以减少语言偏置的影响.在对抗机制下, 一方面训练WIM, 使得该模型尽可能推理正确, 其中WIM模型的词编码表示是由标准推理模型提供; 另一方面训练标准推理模型, 调整它的词编码和句编码部分, 目的是在提高自身推理准确率的同时, 尽量降低WIM模型的性能.在这种新颖的对抗正则化机制下, 优化自然语言推理模型.

本文提出的模型可以端到端训练, 而且扩展和延伸性比较强.在SNLI和Breaking-NLI数据集上的实验结果表明了该方法的有效性:本文提出的方法在SNLI数据集基于句子嵌入的推理模型中取得了最好的结果, 而且在Breaking-NLI数据集中也取得了领先的表现.

本文的主要贡献如下: 1)通过多样信息整合, 多层级句子编码, 增强自然语言推理模型对句子的表示能力, 以探索更多语义信息. 2)关注自然语言推理中的语言偏置现象, 并使用对抗正则化方法来解决这个问题, 此外该方法没有增加模型的参数, 不会增加模型测试时的复杂度. 3)通过在SNLI和Breaking-NLI数据集上的实验表明本文提出方法的有效性, 模型推理表现取得了有效的提升.

图 1  自然语言推理(NLI)整体结构框图

图 2  基于对抗正则化的自然语言推理模型结构框图

图 3  词编码器和句子编码器网络结构

本文提出增强的多层级表示推理模型, 通过多样信息整合和多层级句子编码, 增强模型对句子的表示能力, 探索更多语义信息.在标准推理模型中引入对抗正则化方法, 通过标准推理模型和只依赖词编码进行推理的模型进行博弈训练, 以减少语言偏置对推理模型的影响, 使模型能够基于上下文进行有效推理.在SNLI和Breaking-NLI数据集上的实验结果验证了本文方法的有效性.在未来的研究工作中, 我们希望将该方法应用到更多任务中去.

作者简介

刘广灿

哈尔滨理工大学自动化学院硕士研究生.主要研究方向为语音分离, 自然语言理解与生成.E-mail:c1240754278@163.com

曹宇   

哈尔滨理工大学副教授.2009年获得哈尔滨工业大学博士学位.主要研究方向为模式识别, 机器视觉和机器人.E-mail:cyhit@163.com

徐波   

中国科学院自动化研究所所长, 研究员.中国科学院脑科学与智能技术卓越创新中心副主任.长期从事人工智能研究.主要研究领域包括类脑智能, 类脑认知计算模型, 自然语言处理与理解, 类脑机器人.E-mail:xubo@ia.ac.cn

许家铭   

中国科学院自动化研究所副研究员.主要研究方向为语音处理与听觉注意, 智能问答和对话, 深度学习和强化学习.本文通信作者.E-mail:jiaming.xu@ia.ac.cn