wzlyulbs的个人博客分享 http://blog.sciencenet.cn/u/wzlyulbs

博文

关于SEQ2SEQ序列模型一些想法

已有 4559 次阅读 2017-12-13 17:15 |个人分类:科研笔记|系统分类:科研笔记


一直有一个念头,利用SEQ2SEQ实现认知语言学中的“隐喻式”到“一致式”的转换【以下简称:隐喻式转换】。“隐喻”包含结构以及词的“隐喻”。如果可以做到这一点,那么基于“一致式”的语句做NLP任务将会变得容易很多,比如:消歧,相似句等等。


在工作中,本人就兜兜转转地将很多NLP任务转换成隐喻式转换任务,比如:


1、消歧,问句中的词和词表里的无歧义的词是多对多的关系,对问句中词做消歧,依赖上下文。不同情况下,会对不同类别的词做消歧,比如:时间词,实体词,指标词。模型如果能实现隐喻式转换,那么也能做词的消歧,做所有类别词的消歧。

2、相似句,问答情境下,需要确认当前问句与历史问句是否相似。二者都经模型转换为标准问句(“一致式”问句),再去计算二者相似度是不是更准确些?


模型收敛很快,测试集准确率也能达到95%以上。但真正应用到消歧,效果仍不太理想。列举问题如下:


1、结构问题:模型除输入外,还有context,并且context包含输入。contextCNN之后对输出进行attention。会不会存在这种可能:context中除输入部分对输出产生影响?

解决方案:在语料中补充一种context=输入的情况

2、词表问题:垂直应用领域词表非常大:指标,实体。这二者加起来会大大超过google的英文翻译成法文模型1w左右的词表大小,限制词表大小会是的很多词不被认识。

解决方案:词之下的字,实体的类信息都不应该隐瞒模型,以其昏昏使人昭昭,如何可能?




https://blog.sciencenet.cn/blog-3141079-1089505.html

上一篇:NLP机器学习分类任务所犯入门级错误---记录1
下一篇:舆情之正负面
收藏 IP: 101.71.41.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-9-27 03:05

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部