IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

融合对抗学习的因果关系抽取

已有 5327 次阅读 2018-7-2 10:33 |系统分类:博客资讯

 

因果关系是“原因”和“结果”之间的关系,是引起和被引起的关系. 因果关系作为一种重要的关系类型,在许多任务中起着重要作用,如事件预测、情景生成、问答以及文本蕴涵等.  

 

自然语言文本中存在大量的因果关系. 新闻文本中经常报道事故及其造成的后果:

The <e1>arrest</e1> has caused an <e2>outcry</e2> of indignation among some industrial and political circles in France.

该例包含了arrest(逮捕)和outcry(强烈抗议)之间的因果关系.

因果关系的抽取方法主要分为两类:基于模式匹配的方法和基于机器学习的方法. 基于模式匹配的方法包括词典语法模式,语义关系模式等. 基于机器学习的方法包括支持向量机(Support Vector MachineSVM)、决策树(Decision Tree)等. 这些方法主要依赖特征工程,但是特征工程涵盖了繁琐的特征选择和不准确的特征提取,计算开销大且存在错误传播的问题. 此外,以往的方法利用WordNetNomLex-Plus以及VerbNet等知识库抽取特征,对知识库依赖性强.

为避免特征工程的一系列问题,本文将在因果关系抽取任务上探索新的方法. 2014年以来,Goodfellow等人提出的生成式对抗网络GAN在生成式任务上取得巨大进展. GAN在结构上受到博弈论的启发,系统由一个生成模型和一个判别模型构成,如图1. 生成模型捕捉真实数据样本的潜在分布,并生成新的数据样本;判别模型是一个二分类器,判别输入是真实数据还是生成的样本. 判别模型的存在使得 GAN 中的生成模型能够学习去逼近真实数据,最终让其生成的数据达到以假乱真的地步. 与传统基于模式匹配和机器学习的抽取方法相比,GAN能够利用生成模型和判别模型之间的对抗,获取逼近训练目标的生成模型.

                                               1.png

1  GAN 结构

针对已有因果关系抽取方法在特征工程中存在的问题,本文提出了一个包含因果关系解释信息的对抗学习框架,分别将原始语句和包含因果关系解释信息的语句输入到基本模型和因果关系增强模型,利用两个相同结构的神经网络模型进行因果关系分类. 通过基本模型和判别模型的对抗训练,基本模型能模仿和学习因果关系增强模型生成的特征向量,进而捕获模型间共同特征,提升因果关系抽取效果.

2.png

模型整体架构

3.png

带注意力机制的双向门控循环单元神经网络


引用格式:冯冲, 康丽琪, 石戈, 黄河燕. 融合对抗学习的因果关系抽取. 自动化学报, 2018, 44(5): 811-818


链接:http://html.rhhz.net/ZDHXBZWB/html/2018-5-811.htm


PDF:http://www.aas.net.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=19273


作者简介:


冯冲,北京理工大学计算机学院副研究员. 主要研究方向为自然语言处理, 信息抽取, 机器翻译. 本文通信作者.  E-mail: fengchong@bit.edu.cn


康丽琪,北京理工大学计算机学院硕士研究生. 主要研究方向为信息抽取,关系

抽取.  E-mail: klq207@126.com


石戈,北京理工大学计算机学院博士研究生. 主要研究方向为信息抽取,事件抽

.  E-mail: shige@bit.edu.cn


黄河燕,北京理工大学计算机学院教授. 主要研究方向为自然语言处理和机器翻译社交网络与信息检索, 智能处理系统.  E-mail: hhy63@bit.edu.cn




https://blog.sciencenet.cn/blog-3291369-1121859.html

上一篇:协作式生成对抗网络
下一篇:中科院王飞跃教授团队:平行增强学习最新理论框架与案例
收藏 IP: 159.226.21.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-10 18:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部