《镜子大全》《朝华午拾》分享 http://blog.sciencenet.cn/u/liwei999 曾任红小兵,插队修地球,1991年去国离乡,不知行止。

博文

《新智元笔记:知识图谱和问答系统:开题(1)》

已有 4608 次阅读 2015-12-21 15:17 |个人分类:立委科普|系统分类:科普集锦|关键词:QA,问答系统,知识图谱,信息抽取,how-question| 信息抽取, 知识图谱, 问答系统, how-question

我:其实 我可以专讲一场《知识图谱和问答系统:从回答 how questions 讲起》,如果有足够兴趣的话。这个因为比较深入地做过。以前也说过要写出来,后来问的人多了,反而至今没写。这算热门话题吧,主要看时机。现在讲,互动够不够。白老师对知识图谱情有独钟的样子,也希望白老师挑刺。其他对知识图谱感兴趣的老师同学也可以周知一下。我一般五六点醒来,北京就是晚上九十点。这时候家里人还在酣睡,周围静悄悄,适合不受干扰地大话西游。
龚: 好的,今晚九点到十点,由李维老师分享《知识图谱和问答系统:从回答 how questions 讲起》,请大家安排好时间交流。
Jixhu: 期待今晚思想盛宴
奋:今晚来
龚: 李老师分享,我来主持并整理,大家可以使劲交流,我也附和两句微博当时的大梦想
wang: 积极参加!
朱: 期待ing

洪:

今晚硅谷静悄悄,微群设摊待维老。

知识图谱说根苗,预计讲到雄鸡叫。

马:

雄鸡叫,不睡觉,定把智普都学到。

手拿板凳准备好,静等师傅来布道。

白: HOW型问题还是颇有难度的

洪:

颇有难度起阶HOW,盖因听众水平高。

讲师竹筒蚕豆倒,听者瓜子嗑不少。

张: 不少布道
朱: 下午买瓜子去,

我: 洪爷好诗兴。这个铺垫,顿感压力不小。好在也做了多年了。

龚:  @洪 @马 两位好雅兴

我: 马老师也学会打油了。过一年这群里一半人都得被熏陶成诗人不可。

洪: 老了,必须在开场时率先捧捧场,否则到了讲真正问题时只能鼾声如雷,那就太尴尬了

马: @wei 都是被洪诗人给带的

洪: @马 咱们是向座山雕学习给自己留条后路。后生们携着新一代ai利器一路掩杀过来,正经事儿估计若干年内都会被机器人 take over。或许只有这油诗鸡肋,或许眼高手低的机器人真滴看不上而放过。咱们借机方能保存点人性智慧。

白: 这使命感,不是盖的。@洪

马: @洪 师傅,跟定你了。

张: 使命感,很亲切!对很多年轻人可能是“古”汉语了吧!

洪: 以后若干年,无人驾驶汽车或飞机载着咱们四海云游。咱们都闲着没事。也不敢说正经话题,因为一说话就露怯,被机器人训回去。只能打打油,抒发抒发感触。

朱: 顿时有进入退休时代的感觉,请不要加快节奏

洪: 咱们让@wei  竹筒豆子慢点倒

朱: 俺在准备明天973项目年终汇报的ppt,原本就不太想干,被各位的段子“骚扰”的时时分神,拉黑!晚上见!

张: 图谱讨论何时起?

龚:  今晚21点。

我: 各位,两小时后(北京晚九点)开讲,讲之前,我找一些相关链接,就贴在这里,省得到讲的时候抓不着。

Jixhu: 李老师这么早?辛苦啊

我:没事,从来都是生物钟紊乱。白天常打瞌睡 :)没点。

白: 诸位还要多添佐料

我:这是第一个 reference 以前发过,再发一下:立委科普:问答系统的前生今世。当时许诺的事儿,一直没做,直到今天,quote:How 类型的问题也不好回答,它搜寻的是解决方案。同一个问题,往往有多种解决方案,譬如治疗一个疾病,可以用各类药品,也可以用其他疗法。因此,比较完美地回答这个 How 类型的问题也就成为问答界公认的难题之一。Why 类型的问题,是要寻找一个现象的缘由或动机。这些原因有显性表达,更多的则是隐性表达,而且几乎所有的原因都不是简单的词或短语可以表达清楚的,找到这些答案,并以合适的方式整合给用户,自然是一个很大的难题。下一个姐妹篇《立委科普:自动回答 How 与 Why 的问题》准备详细谈谈后两个难题。

这一段也很相关,是几年前吹的牛皮,也放在这里:“NLP技术的工业可行性我认为已经完全被证明了(很多人也许还没有意识到)。证明的实例表现在我们解决了三个信息搜索的难题:1 是解决了搜索 how 的难题;2 是解决了搜索 why 的难题;3 是解决了对客户反馈情报及其动机的抽提(譬如客户对一个产品的好恶)。前两个问题是问答搜索业界公认的最难类型的题目,第三个题目涉及的是语言现象中较难把握的主观性言语(subjective language),并非NLP通常面对的对象(objective language,事实描述的客观性言语),因此成为语言处理最难的课题之一(叫 sentiment extraction)。从问答系统角度来看,回答who/when/where等实体(entity)事实(factoid)的问题比较简单,技术相对成熟,最突出的表现就是IBM的问答系统赢得美国家喻户晓的电视智力竞赛Jeopardy的冠军,电脑打败了人脑,见 COMPUTER CRUSHES HUMAN 'JEOPARDY!' CHAMPS)。这是因为 JEOPARDY! 的大多数问题是属于实体事实类的问题。具体细节就不谈了,以后有机会再论。总之,这三大公认的难题在过去五年中被我们一个一个解决,标志了作为实用技术的 NLP 已经过了需要证明自己的阶段。
Jixhu: NLP产业化这个老师5年前就提了,国内看来好像这两年才有的事,而且还不太够
白: 切不可太narrow,对一些产业应用成熟了,另一些则未必。但是,从一个没有,到有至少一个,是大突破。
我: 我那个说法不是从整个行业现状说的。只是从自己做的产业开发说的。整个行业现状是慢了半拍,由于各种缘由。而我们自己做的产品虽然也大数据了,云端了,也有全球用户了,但实际上平台还是不够大。后者可以看作是前者的一个探路或证明。譬如,我们的 HOW QA 系统实际 deploy 了五六年,可行性和有效性应该说没有什么怀疑了。
Jixhu: 是,过去五年相对过去十年是较大的一步。未来五年肯定更是。
我:从道理上说,任何一个搜索巨头都可以用上这个技术,因为它是 open domain 的,而且很容易对接上搜索引擎。怎么对接?只要 query 中含有 how,就去调用这个系统。调用以后的结果一定比搜索引擎现有的结果漂亮很多。但是,各大巨头做了知识图谱,用到了 what question (所谓“定义问题”类型,回答 what和who 这类 entity 问题),还没有任何一家用到了 how question。是因为 how question 不常见么?用处不大么?不是。基本上就是,巨头并不总是看得见小公司的创新。
白: 大家攒足佐料啊……
我: 而另一方面,因为平台不够大,business 不够有力,最后这个靠 charge 用户的产品还是歇菜了。商业模式没有让它赚钱,歇菜是自然的,但方法和价值已经得到长时间和全方位的验证。可对于搜索的商业模式,靠的不是 charge 用户,靠的是提升用户的体验和粘性,然后 charge 广告商,这种模式下,这个用图谱来支持问答的技术就理应开花结果。当然,这一切就是一个时间问题。最终一定是成为搜索的一个部分,这一点绝对没有疑问。知识图谱回答了 what和who 的 entity 问题以后,回答更难的 how 和 why 问题是搜索变得越来越 intelligent 的水到渠成之路。
话又说回来,甚至连业界公认已经成熟的 factoid questions (when where 之类),搜索巨头也还没有大规模 integrate 和 deploy 呢,所以更难的问题迟迟不见动静也就可以淡定了。巨头有巨头的考虑,我们技术人是搞不懂的,譬如成本啦(知识图谱比keyword index 当然会有巨大的开发和维护的成本)等。那天有群友也说了,为什么搜索要改进啊,如果不进一步跳跃性改进就已经有的赚,提高用户体验就没有现实的迫切性。谁知道,也许还真是这么回事儿。
Zhou: 微软bing搜索,也是我们参与的,有factoid,how等类型QA。覆盖面尚有限。怎么做菜之类。
我: @周明 是内部吧,BING 的接口上看不出处理了 how。

再发张照片,里面的那位公司创始人麦克就是我的搭档,当年一起把 how 商业化的,市场需求是他先提出来的。


还有两个相关的帖子,是在隔壁的泥沙龙讨论搜索与NLP关系时整理的,一并放在这里作为这一讲的背景和references。泥沙龙笔记:搜索和知识图谱的话题里面相关的 quotes有: 问答系统有两类。一类是针对可以预料的问题,事先做信息抽取,然后index到库里去支持问答。这类 recall 好,精度也高,但是没有 real time search 的灵活性和以不变应万变。
另一类问答系统就是对通用搜索的直接延伸。利用关键词索引先过滤,把搜罗来的相关网页,在线parse,深度分析后找到答案。这个路子技术上是可行的。应对所谓 factoid 问题:何时、何地、谁这样的问题是有效的。(但是复杂问题如 how、why,还是要走第一类的路线。)为什么可行?因为我们的深度 parsing 是linear 的效率,在线 parsing 在现代的硬件条件下根本不是问题,瓶颈不在 parsing,无论多 deep,比起相关接口之间的延误,parsing 其实是小头。 总之,技术上可以做到立等可取。
对于常见的问题,互联网在线问答系统的 recall 较差根本就不是问题,这是因为网上的冗余信息太多。无论多不堪的 recall,也不是问题。比如,问2014年诺贝尔物理奖得主是谁。这类问题,网上有上百万个答案在。如果关键词过滤了一个子集,里面有几十万答案,少了一个量级,也没问题。假设在线 nlp 只捞到了其中的十分之一,又少了一个量级,那还有几万个instances,这足以满足统计的要求,来坐实NLP得来的答案,可以弥补精度上可能的偏差(假设精度有十个百分点的误差)。
这一篇笔记与今天要讲的题目最相关,提供了详细的背景信息: 泥沙龙笔记:创新,失败,再创新,再失败,直至看上去没失败。相关的 quotes 如下:
有些做出来很漂亮的系统,后来市场上没站住。现身说法,举近年来亲身经历的NLP产品化过程为例。
我们曾有一个千万美元以上的合同,给 Elsvier (世界上主要的学术出版商,出版各种科技文献、学术资料和论文集)做一个世界上绝无仅有的,本质上是回答 How 问题的问答系统。这个系统的市场起源是这样一种需要,科研人员和产品设计师们在创新的时候,需要查询文献,看前人都做过怎样的工作,可以借鉴。设计要求是,给定任一问题,例如,(how to handle)tooth decay,或规定任一功能,例如,(how to)increase bone density,这是输入,要求系统从文献中抽取挖掘所有的解决办法(solutions),分门别类呈现给用户。如所周知,how 问题是问答系统中最难回答的问题之一,因为涉及的答案各式各样,比起when、where、who 这样的 factoid questions 难度大得多。可是,我们有deep parsing 支持的信息抽取,较好地解决了这个难题。系统交货以后,用的人喜欢得不得了,反馈极佳。反正世界上没有一个机器可以回答这么广泛的 how 难题。无论是如何治疗疾病,还是如何泡妞,或者如何成为百万富翁,只要你能想到的问题,我们的机器(产品名叫 illumin8)都可以回答。给你这个世界上讨论过这个问题的所有答案,整合到一起,一目了然。而且是动态呈现,你可以对任何解决方案drill down最终原始出处和上下文,你也可以进一步找这个方案的因果关系,看得失优劣。对于科学家和产品设计师搜集前人的工作(prior art)是利器。Elsvier里面的负责这块的小团队来访,见到我,都夸这个系统做得好。合作是愉快的。
特定类型问题的问答系统可以看成是新一代的专项search engine,我们把它叫作 research tool。结果 Elsevier在其全球用户的系统中用了五六年,去年终结了,合同没有续约。我作为设计者很感伤。
这么好的技术创新,填补的产品空白,世界上没有第二家系统可以弥补(至少目前如此)。可是经历了六年还是归于失败。Elsevier 在它的全球用户使用这么些年,但是发现还是无法拿它盈利。尽管用的人还是喜欢,也还是掐了。技术好不行,不熟悉市场和 business model, 也还是死路。
沈: eHow的SEO有一阵在Google上做得铺天盖地的,但凡搜个How头一条就是eHow。他们就是雇了很多人,快速编纂各种How的小tip,不用自动的方法。
我: 那些 how 在 youtube 上也红火得不得了,主要集中在 家用方面的 FAQ of how,如何换机油,如何换轮胎之类
沈: 是很有用啊!

我: 这种针对 FAQ 做的 how 是有道理的,可以赚得高点击,用广告费来制作很精良到位的content 满足需求。但对于 open domain 的 how, FAQ+人工,自然是不行的。



《新智元笔记:知识图谱和问答系统:how-question QA(2)》



【相关】


立委科普:问答系统的前生今世

【立委科普:从产业角度说说NLP这个行当】

泥沙龙笔记:搜索和知识图谱的话题

泥沙龙笔记:创新,失败,再创新,再失败,直至看上去没失败

【创业故事:技术的力量和技术公司的命运】

泥沙龙笔记:parsing 是引擎的核武器,再论NLP与搜索

泥沙龙笔记:从 sparse data 再论parsing乃是NLP应用的核武器

【立委科普:信息抽取】


【置顶:立委科学网博客NLP博文一览(定期更新版)】

Click to edit publication titleSrihari, R., Li, W., Li, X. 2006.             Question Answering Supported by Multiple Levels of Information Extraction.  a book chapter in T. Strzalkowski & S. Harabagiu (eds.), Advances in Open- Domain Question Answering. Springer, 2006.Click to edit publication or publisher name
Click to edit publication dat2006

Click to edit publication description






http://blog.sciencenet.cn/blog-362400-944791.html

上一篇:微博:长得丑也有说法
下一篇:核能发展的核心问题

1 decipherer

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-1-17 21:40

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部