引用本文

向露, 朱军楠, 周玉, 宗成庆. 基于多粒度对抗训练的鲁棒跨语言对话系统. 自动化学报, 2021, 47(8): 1855−1866 doi: 10.16383/j.aas.c200764

Xiang Lu, Zhu Jun-Nan, Zhou Yu, Zong Cheng-Qing. Robust cross-lingual dialogue system based on multi-granularity adversarial training. Acta Automatica Sinica, 2021, 47(8): 1855−1866 doi: 10.16383/j.aas.c200764

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200764

关键词

多粒度噪声，对抗训练，鲁棒性，跨语言，对话系统 

摘要

跨语言对话系统是当前国际研究的热点和难点. 在实际的应用系统搭建中, 通常需要翻译引擎作为不同语言之间对话的桥梁. 然而, 翻译引擎往往是基于不同训练样本构建的, 无论是所在领域, 还是擅长处理语言的特性, 均与对话系统的实际应用需求存在较大的差异, 从而导致整个对话系统的鲁棒性差、响应性能低. 因此, 如何增强跨语言对话系统的鲁棒性对于提升其实用性具有重要的意义. 提出了一种基于多粒度对抗训练的鲁棒跨语言对话系统构建方法. 该方法首先面向机器翻译构建多粒度噪声数据, 分别在词汇、短语和句子层面生成相应的对抗样本, 之后利用多粒度噪声数据和干净数据进行对抗训练, 从而更新对话系统的参数, 进而指导对话系统学习噪声无关的隐层向量表示, 最终达到提升跨语言对话系统性能的目的. 在公开对话数据集上对两种语言的实验表明, 所提出的方法能够显著提升跨语言对话系统的性能, 尤其提升跨语言对话系统的鲁棒性.

文章导读

任务型对话系统旨在通过对话交互的方式在有限的回合内帮助用户完成特定的任务, 比如导航、订机票等. 近年来, 对话系统成为学术界和工业界关注的焦点. 尤其是端到端任务型对话系统[1-5]引起了研究者广泛的兴趣, 此类系统能够接收用户的输入, 并直接生成对应的回复.

随着全球化的快速发展和跨境电子商务的普及, 跨语言交流变得愈发频繁. 在此背景下, 开发和部署跨语言的任务型对话系统已成为迫切需求. 然而, 目前的任务型对话系统主要使用特定的单语数据进行训练. 对于一种新的语言, 须重新对该语言的对话数据进行收集和标注, 这将耗费巨大的成本, 同时使得系统的开发周期变长. 因此, 能否利用已有的单语对话系统构建跨语言系统, 成为本文关注的焦点.

近年来, 随着深度学习技术的快速发展, 机器翻译技术取得了长足的进展, 包括谷歌、百度和微软在内的诸多互联网公司都已经部署了各自的开源机器翻译系统, 这为跨语言对话系统的构建提供了便利. 因此, 本文借助已有的机器翻译系统作为不同语言之间的桥梁, 提出了“翻译−对话−回翻”的跨语言对话框架. 如图1所示, 该框架包括三个系统: “用户语言(中)−源语言(英)”的机器翻译系统、“源语言(英)”的对话系统和“源语言(英)−用户语言(中)”的机器翻译系统. 其工作流程包括三个步骤: 1) 翻译步骤, 即采用“用户语言−源语言”机器翻译系统将用户的输入翻译成对话系统所支持的语言; 2) 对话步骤, 即对话系统根据步骤 1) 转换得到的源语言句子生成回复; 3) 回翻步骤, 即采用“源语言−用户语言”机器翻译系统将系统生成的源语言回复翻译至用户语言以反馈给用户.

图 1  基于机器翻译的跨语言对话系统

本文所提出的跨语言对话框架可以充分利用现有的翻译系统和单语对话数据, 无须重新标注数据即可将单语的对话系统扩展至多种语言, 便于实际开发与部署.

然而, 当“用户语言−源语言”缺乏机器翻译平行数据或机器翻译平行数据的领域与任务型对话的领域存在显著差异时, 机器翻译系统的结果不可避免地会引入各种干扰和错误. 原始的对话系统通常是在干净数据上进行训练的, 无法有效地处理机器翻译系统所引入的噪声, 从而严重制约跨语言对话系统的质量. 事实上, 许多研究表明, 大多数神经网络系统对输入的变化十分敏感, 微小的输入扰动可能会引起较大的输出差异[6-9]. 因此, 构建面向由机器翻译所引入噪声的鲁棒性跨语言对话系统, 对于提升跨语言对话服务的性能至关重要.

针对上述问题, 本文提出了一种基于多粒度对抗训练的鲁棒跨语言对话系统构建方法, 以提升跨语言对话系统对于多粒度翻译噪声数据的鲁棒性. 具体地, 该方法首先利用“翻译−回翻”的方式, 构造了词汇、短语、句子三种粒度的噪声对抗样本. 之后, 该方法利用对抗训练的方式学习噪声无关的隐层向量表示, 进而提升对话系统应对翻译系统所引入噪声的能力. 本文提出的方法在“中文到英语”和“德语到英语”两种语言对上开展了实验, 实验结果表明本文所提方法能够在保持源语言性能的情况下, 显著提升跨语言场景下对话系统的性能.

图 2  TSCP框架

图 3  词汇级和短语级对抗样本生成框架

本文提出了面向跨语言对话系统的多粒度对抗训练的方法, 通过机器翻译系统和源语言对话数据构造词汇−短语−句子三种粒度的噪声数据, 并利用对抗训练提升对话系统在跨语言场景下的鲁棒性. 在CamRest676和KVRET数据集上的实验结果验证了本文所提方法的有效性, 本文方法不仅可以提升对话系统在跨语言场景下的鲁棒性, 还能提升对话系统在干净数据下的性能.

作者简介

向露

中国科学院自动化研究所模式识别国家重点实验室博士研究生. 主要研究方向为人机对话系统, 文本生成和自然语言处理. E-mail: lu.xiang@nlpr.ia.ac.cn

朱军楠

中国科学院自动化研究所助理研究员. 主要研究方向为自动摘要, 文本生成和自然语言处理. E-mail: junnan.zhu@nlpr.ia.ac.cn

周玉

中国科学院自动化研究所研究员. 主要研究方向为自动摘要, 机器翻译和自然语言处理. 本文通信作者. E-mail: yzhou@nlpr.ia.ac.cn

宗成庆

中国科学院自动化研究所研究员, 中国科学院大学岗位教授, 中国计算机学会会士、中国人工智能学会会士. 主要研究方向为自然语言处理, 机器翻译.E-mail: cqzong@nlpr.ia.ac.cn