引用本文

张虎, 王宇杰, 谭红叶, 李茹. 基于MHSA和句法关系增强的机器阅读理解方法研究. 自动化学报, 2022, 48(11): 2718−2728 doi: 10.16383/j.aas.c200951

Zhang Hu, Wang Yu-Jie, Tan Hong-Ye, Li Ru. Research on machine reading comprehension method based on MHSA and syntactic relations enhancement. Acta Automatica Sinica, 2022, 48(11): 2718−2728 doi: 10.16383/j.aas.c200951

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200951

关键词

机器阅读理解，多头自注意力，句法关系，多跳推理 

摘要

机器阅读理解 (Machine reading comprehension, MRC)是自然语言处理领域中一项重要研究任务, 其目标是通过机器理解给定的阅读材料和问题, 最终实现自动答题. 目前联合观点类问题解答和答案依据挖掘的多任务联合学习研究在机器阅读理解应用中受到广泛关注, 它可以同时给出问题答案和支撑答案的相关证据, 然而现有观点类问题的答题方法在答案线索识别上表现还不是太好, 已有答案依据挖掘方法仍不能较好捕获段落中词语之间的依存关系. 基于此, 引入多头自注意力(Multi-head self-attention, MHSA)进一步挖掘阅读材料中观点类问题的文字线索, 改进了观点类问题的自动解答方法; 将句法关系融入到图构建过程中, 提出了基于关联要素关系图的多跳推理方法, 实现了答案支撑句挖掘; 通过联合优化两个子任务, 构建了基于多任务联合学习的阅读理解模型. 在2020中国“法研杯”司法人工智能挑战赛(China AI Law Challenge 2020, CAIL2020)和HotpotQA数据集上的实验结果表明, 本文提出的方法比已有基线模型的效果更好.

文章导读

机器阅读理解(Machine reading comprehension, MRC)是通过计算机理解文章语义并回答相关问题的一项重要研究任务. MRC研究对提升机器的自然语言理解能力具有重要促进作用, 已受到学术界和工业界的广泛关注. 早期的MRC研究主要采用基于人工规则库的方法, 规则库的建立和维护通常需要耗费大量人力, 且难以回答规则以外的问题[1]. 近年来, 随着机器学习, 特别是深度学习的快速发展[2], MRC的自动答题效果有了明显提升, 在一些特定任务中MRC模型的回答甚至可以媲美人类水平.

随着BERT (Bidirectional encoder representations from transformers)[3]等预训练语言模型的出现, 片段抽取式MRC任务的实验结果得到了较大提升, 很多模型在SQuAD (Stanford question answering dataset)[4]等数据集上已经超越了人类水平. 为了进一步检验模型的推理能力, 现有很多MRC数据集加入了观点类问题, 包括“是/否”和“不可回答”问题. SQuAD2.0[5]在SQuAD的基础上增加了不可回答问题; CoQA (Conversational question answering)[6]是一个多轮对话MRC数据集, 它的答案形式涉及片段抽取、是/否、不可回答以及自由回答; CJRC (Chinese judicial reading comprehension)[7]是首个中文法律MRC数据集, 问题类型包括片段抽取、是/否与不可回答问题. 然而, 针对观点类问题的MRC任务, 现有阅读理解模型仍然不能得到令人满意的结果. 观点类问题的答案往往不在文章中直接出现, 一般需要通过多个句子推理得出. 因此, 对于此类问题, 模型需要综合理解阅读材料后给出观点, 并且如果根据材料语义无法作答, 模型应该将该问题判定为不可回答.

人类在回答阅读理解问题时, 不仅可以给出问题答案, 而且也可以给出支撑答案的依据. 然而, 现有大多数MRC模型仅可以给出问题的答案, 无法给出支撑该答案的答案依据, 得到的答案通常缺乏可解释性. 为提高MRC模型的可解释性, 美国卡耐基梅隆大学、美国斯坦福大学等机构联合推出了多文档多跳推理数据集HotpotQA[8], 要求模型在多个文档里寻找答案线索, 给出答案依据, 并通过推理得到答案; 中国“法研杯”司法人工智能挑战赛(China AI Law Challenge 2020, CAIL2020)阅读理解数据集提出了多跳推理任务, 要求MRC模型在回答问题的同时给出答案依据, 即参与推理的句子编号. CAIL2020阅读理解数据集的样例如图1所示.

图1 CAIL2020阅读理解数据集样例

为了同时实现观点类问题作答和答案依据挖掘, 本文提出了一种多任务联合学习模型(Multi-task joint learning model, MJL-model). 该模型的主要思想是: 首先, 针对观点类问题, 引入多头自注意力(Multi-head self-attention, MHSA)机制挖掘文章中观点类问题的文字线索, 然后利用循环卷积神经网络(Recurrent convolutional neural network, RCNN)[9]对观点类问题进行分类求解; 其次, 针对答案依据挖掘任务, 利用词法与句法分析工具识别文章中各句子中的关键要素以及句法关系, 利用要素间的依存句法关系以及其他关联关系构建关联要素关系图, 并利用动态融合图网络(Dynamically fused graph network, DFGN)[10]在关系图上挖掘当前问题的答案依据, 增强答案的可解释性; 最后, 通过参数共享与联合损失优化, 将两个任务进行联合优化学习, 实现观点类问题的解答以及答案依据的挖掘. 本文在CAIL2020与HotpotQA阅读理解数据集上进行了实验, 分析了中英文数据集的差异, 证明了该方法的有效性.

本文的主要贡献有以下几点:

1) 提出句法关系增强的关联要素关系图构建方法, 建立基于DFGN的答案依据挖掘模型;

2) 针对观点类问题解答和答案依据挖掘任务, 提出多任务联合学习的阅读理解模型;

3) 同时在CAIL2020与HotpotQA阅读理解数据集上进行了多项对比实验, 验证了所提模型的有效性和通用性.

图2 MJL-model模型结构

图3 多跳推理层结构图

本文针对阅读理解任务中的观点类问题以及答案依据挖掘展开研究, 提出了一种基于MHSA与句法关系增强的多任务阅读理解模型. 通过引入MHSA和RCNN, 改进了观点类问题的解答方法; 利用句法关系与其他要素关系构建关联要素关系图, 并基于关联要素关系图进行多跳推理, 优化了答案依据挖掘模型; 最后将两个任务进行联合优化学习, 建立了基于多任务联合学习的阅读理解模型. 在CAIL2020阅读理解数据集和HotpotQA数据集上的成功应用, 验证了所提方法的有效性.

在观点类问题中, 仅通过MHSA机制挖掘文章中观点类问题的文字线索可能还不够充分. 在未来工作中, 将尝试利用图神经网络来进一步挖掘文章中观点类文字线索; 答案依据挖掘对于阅读理解的可解释性具有重要意义, 下一步将引入一些外部知识库[27]和其他推理方法来探索更有效的答案依据挖掘方法.

作者简介

张虎

山西大学计算机与信息技术学院副教授. 2014 年于山西大学计算机与信息技术学院获得工学博士学位. 主要研究方向为人工智能与自然语言处理. 本文通信作者. E-mail: zhanghu@sxu.edu.cn

王宇杰

山西大学计算机与信息技术学院博士研究生. 主要研究方向为自然语言处理. E-mail: init_wang@foxmail.com

谭红叶

山西大学计算机与信息技术学院教授. 2008年于哈尔滨工业大学计算机学院获得博士学位. 主要研究方向为人工智能, 自然语言处理. E-mail: tanhongye@sxu.edu.cn

李茹

山西大学计算机与信息技术学院教授. 2011年于山西大学计算机与信息技术学院获得工学博士学位. 主要研究方向为人工智能与自然语言处理. E-mail: liru@sxu.edu.cn