引用本文

侯丽微, 胡珀, 曹雯琳. 主题关键词信息融合的中文生成式自动摘要研究. 自动化学报, 2019, 45(3): 530-539. doi: 10.16383/j.aas.c170617

HOU Li-Wei, HU Po, CAO Wen-Lin. Automatic Chinese Abstractive Summarization With Topical Keywords Fusion. ACTA AUTOMATICA SINICA, 2019, 45(3): 530-539. doi: 10.16383/j.aas.c170617

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170617

关键词

联合注意力机制，序列到序列模型，生成式摘要，主题关键词 

摘要

随着大数据和人工智能技术的迅猛发展，传统自动文摘研究正朝着从抽取式摘要到生成式摘要的方向演化，从中达到生成更高质量的自然流畅的文摘的目的.近年来，深度学习技术逐渐被应用于生成式摘要研究中，其中基于注意力机制的序列到序列模型已成为应用最广泛的模型之一，尤其在句子级摘要生成任务（如新闻标题生成、句子压缩等）中取得了显著的效果.然而，现有基于神经网络的生成式摘要模型绝大多数将注意力均匀分配到文本的所有内容中，而对其中蕴含的重要主题信息并没有细致区分.鉴于此，本文提出了一种新的融入主题关键词信息的多注意力序列到序列模型，通过联合注意力机制将文本中主题下重要的一些关键词语的信息与文本语义信息综合起来实现对摘要的引导生成.在NLPCC 2017的中文单文档摘要评测数据集上的实验结果验证了所提方法的有效性和先进性.

文章导读

自动摘要旨在从给定的文本中自动生成能表达原文主题的精简形式, 以缓解信息过载造成的阅读压力.自动摘要过程大致可分为抽取式和生成式两类, 抽取式摘要从原文中选取若干重要句子直接组合成摘要, 生成式摘要的产生则相对自由灵活, 有望生成更接近人工撰写的流畅摘要, 并且在技术实现上更具挑战性.

目前, 随着大数据和人工智能技术的发展, 以及深度学习和表示学习在各个领域的推广渗透[1-3], 传统自动摘要方法逐渐从抽取式朝着生成式演化, 特别是基于循环神经网络(Recurrent neural network, RNN)的编码器–解码器模型正成为当前应用最广泛的生成式摘要模型, 并在句子级的摘要生成任务(新闻标题生成、句子压缩等)中取得了较显著的效果.近年来, 已有学者如Bahdanau等[4]提出在此模型的解码器部分加入对输入序列的注意力机制, 用于提取原始文本中丰富的上下文信息以避免信息覆盖问题, 导致该问题的原因是简单的RNN编码器解码器模型中的编码器是将信息从前到后一步步压缩成一个固定长度的上下文语义向量, 但这种信息传递编码方式会使得前面的信息被后面的信息覆盖而失效.此外, 因为该机制将注意力均匀分布在文本的所有内容上, 因而使得全文中的主题信息在摘要的生成过程中并没有被合理地区分利用, 同时主题关键词是主题信息常见的表示形式.鉴于此, 本文尝试提出了一种新的融合主题关键词信息的多注意力机制, 并融入到循环神经网络的编码器–解码器模型中以补充强化原文中的主题信息, 从而更好地引导摘要生成.具体而言, 先使用无监督方法识别文本的主题关键词, 然后综合主题关键词注意力机制, 输入序列注意力机制及输出序列注意力机制三者联合辅助最终的摘要生成.在NLPCC 2017的中文单文档摘要评测任务上, 本文提出的模型的实际摘要效果的ROUGE (Recall-oriented understudy for gisting evaluation)值比参赛队中第一名成绩还显著提高了2~3个百分点, 充分验证了本文模型的有效性和先进性.

图 1  序列到序列模型

图 2  注意力机制

图 3  主题关键词信息融合的多注意力序列到序列模型

本文提出了一种新的基于神经网络的生成式中文自动摘要方法, 不仅融入了对输入序列的注意力及输出序列的注意力的区分性考虑, 还自然嵌入了文本中的关键主题信息下的注意力, 最终的实验及评价结果证实了引入关键词信息对提升中文生成式摘要模型的显著效果.未来尚有很多可以拓展的工作, 例如在LCSTS等中文大规模文摘数据集上进行实验, 将神经网络模型应用到多文档多句子式的生成摘要中, 以及如何更有效地提取文本中全局和局部的不同粒度或不同模态的关键主题信息.

作者简介

侯丽微

华中师范大学计算机学院硕士研究生.主要研究方向为自然语言处理.E-mail:houliwei@mails.ccnu.edu.cn

曹雯琳  

华中师范大学计算机学院硕士研究生.主要研究方向为自然语言处理.E-mail:caowenlin@mails.ccnu.edu.cn

胡珀  

华中师范大学计算机学院副教授.主要研究方向为自然语言处理, 机器学习, 本文通信作者.E-mail:phu@mail.ccnu.edu.cn