Chenfiona的个人博客分享 http://blog.sciencenet.cn/u/Chenfiona

博文

港科大-微众AI杨强团队:用于生成对话系统的迁移多层注意力网络

已有 496 次阅读 2019-11-6 17:35 |个人分类:好文推荐|系统分类:论文交流

1.jpg



【全文信息】

Transfer Hierarchical Attention Network for Generative Dialog System

Xiang Zhang, Qiang Yang

全文下载:

1)SpringerLink:

https://link.springer.com/article/10.1007/s11633-019-1200-0

2)IJAC官网:

http://www.ijac.net/en/article/doi/10.1007/s11633-019-1200-0


2.jpg

聊天对话系统(chit-chat dialog system)是一项极具发展前景的自然语言处理技术,能够让计算机通过自然语言(natural language)与人对话。传统的聊天对话系统通常基于人工编写的规则(hand-crafted rules)构建,或借助信息提取技术(information retrieval (IR) technology)直接从候选语料库(candidate pool)中选取书面回复语(human writing response)。这类系统缺乏鲁棒性,很难应用于其他新领域。



近年来,深度学习在各领域全面开花,相较于传统系统,一种新模式(paradigm)---生成对话系统(generative dialog system)具备了更优的性能。生成对话系统借助深度神经网络,对复杂的对话语境进行建模(model the complex dependency in dialog context),可直接生成自然语言与用户进行交流,当前已经有一些成功的应用案例,如微软小冰,它们每天都会与上千万用户进行交流。


构建生成对话系统有三个基本要素:对话语境表达学习(dialog context representation learning)、回复内容选择(response content selection)、回复生成(response generation)。谈及对话语境(dialog context),模型会首先学习对话表达以将语境中的语义信息进行编码,而后基于对话语境表达来决定回复的内容,最后通过语言生成算法(language generation algorithm)生成最终回复。基于大规模人类对话语料(human dialog corpus),以上三个要素均可通过端对端模式得到优化(optimized jointly in an end-to-end paradigm),使模型在训练语料库(training corpus)中仿真(emulate)对话主体(agents)。


本研究提出了一种全新的注意力机制(attention mechanism),旨在构建更准确的对话语境表达模型(dialog context representation model)。通过研究可知,如今最前沿的表达模型若想向前发展,需突破不准确的注意力评分(inaccurate attention scores)这一瓶颈。本文研究者猜想,造成其不准确的原因在于缺乏足够多的信息用以训练注意力神经网络(attention neural network),附加注意力机制(additive attention mechanism)只使用了令牌信息(token information),解码器(current decoder)计算出分值(weight scores)。


直观上,系统以一种无监督学习(unsupervised learning nature)的方式进行训练,模型缺乏足够的先验知识(prior knowledge)来识别对话语境中的关键词句。研究者认为迁移学习是一种有效的方法来增强附加注意力机制(additive attention mechanism),关键词提取(keyword extraction)和语句推断(sentence entailment)可作为辅助任务(auxiliary tasks)帮助目标模型取得更合理的权重分值(weight scores)。


通过将句法结构分析(parsing syntactic structure)与语义关系分析(analyzing semantic relationships)迁移至目标任务(target tasks)中,同时也带入先验偏见(prior bias is injected),这有益于确定重要的语言学要素(linguistic elements)。这一想法与机器翻译领域中的一些最新进展的思路相似,即以监督学习的方式,借助词对齐信息(word alignment information)训练注意力网络(attention networks)。




基于以上思考,本文研究者提出了一种全新的基于迁移学习的注意力机制(transfer learning based attention mechanism),并构建了一套新的生成对话框架(generative dialog framework):迁移分层注意网络(transfer hierarchical attention network (THAN))。


研究者利用两种迁移学习方法,把源任务(source task)的知识迁移至目标任务(target task)当中:一种是参数预训练(parameter pre-training),另一种是网络堆栈(network stacking)。各类实验均证实了以上两种方法的有效性。研究者基于THAN网络,构建了单匝(single-turn)和多匝(multi-turn)对话模型,并在大规模公共数据集(public datasets)上进行了系统实验,包括定性评估(quantitative evaluation)和定量分析(qualitative analysis)。


实验结果表明THAN模型性能略优于当前最前沿的模型,并能生成逻辑连续且语义信息明确(semantically informative)的回复语。



本文框架如下:第二部分简要回顾了生成对话系统的相关研究,并介绍了前沿的注意力机制设计,同时还综述了应用于本研究中的迁移学习参数预训练和网络堆栈技术。第三部分主要阐述了本研究涉及的正式问题定义(formal problem definition)及符号(notations)。第四部分详细描述了本研究所构建的模型,包括单匝THAN(single-turn THAN),多匝THAN(multi-turn THAN)和辅助源任务模型(auxiliary source task models)。第五部分展示了实验评估,第六部分是结论,同时提出了一些未来可研究的方向。

3.jpg


4.jpg

自动化所陶建华团队: 基于真实环境的面部表情分析

美国蒙莫斯大学:基于深度学习的手势识别及无人机控制

【最新热文】11篇好文在线读

陶建华团队:基于半监督梯形网络的语音情感识别

五大会议、人气好文!

【特别策划】聚焦全球、优质成果

【综述】美外籍院士Brian Anderson: 社交网络中舆论动力学研究进展

AI复原”美男学霸”,一文综述背后神算法

特约综述+最新研究,好文云集!

【热门精选】五大方向、经典论文

帝国理工学院:自然语言处理中大数据的智能收集与分析

【全文免费】国内外特约综述&优质论文

英国克兰菲尔德大学: 用于故障监测与诊断的全新多层分析算法

公共安全新卫士: 人群异动自动监测系统

【院士特辑】猪福派送,猪多好文!

【综述专栏】实现产品研发“众包”的框架、关键技术及挑战

【新年精选】新晋IEEE Fellow文章集锦

【综述集锦】两年精选综述,都在这里!

【综述专栏】中科院自动化所杜清秀:基于微惯性技术的行人航迹推演系统研究现状

拉夫堡大学陈文华:精准农业中分类问题的研究

【专题好文】应用于服务机器人的全新语义认知算法

【综述专栏】应用于智能微型机器人的软件系统

【特约专题】先进机器人的智能控制与计算

【综述专栏】华盛顿大学陈一昕: 深度学习在健康检测数据中的应用


5.jpg

科研神网站,免费的!

【新学期必备】AI学习全路线资源分享

【资源共享】9大类186组公开数据集

复杂公式转LaTex:一张图片,三步搞定!

【线上课堂】Endnote使用大全

如何提升科研成果影响力

提升科研效率的几款小工具

如何找到科研金点子?

2019年国际会议参考列表

【最新资讯】2018全球工程前沿报告

一张图帮你界定AI

【论文助手】写好摘要的6个诀窍

IEEE给您的8条办会建议

【主编报告】如何写好一篇学术论文?

Nature社论:论文提笔前,编辑给你的小建议

投稿小心机:别再放过cover letter!

【IJAC支招】Poster=PPT?NO!

【同行评议】如何撰写审稿报告?

【同行评议】优秀论文背后的“伯乐”们


6.jpg



http://blog.sciencenet.cn/blog-749317-1205110.html

上一篇:Top5%!IJAC连续8年登榜国际影响力品牌学术期刊
下一篇:如何在不平坦的科研路上狂奔?

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-9-26 04:26

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部