博文

【立委科普：自然语言系统架构简说】

已有 9236 次阅读 2016-6-1 16:29 |个人分类:立委科普|系统分类:科研笔记| NLP, 自然语言处理, 架构

对于自然语言处理（NLP）及其应用，系统架构是核心问题，我在博文【立委科普：NLP 联络图】里面给了四个NLP系统的体系结构的框架图，现在就一个一个做个简要的解说。

我把 NLP 系统从核心引擎直到应用，分为四个阶段，对应四张框架图。最底层最核心的是 deep parsing，就是对自然语言的自底而上层层推进的自动分析器，这个工作最繁难，但是它是绝大多数NLP系统基础技术。

parsing 的目的是把非结构的语言结构化。面对千变万化的语言表达，只有结构化了，patterns 才容易抓住，信息才好抽取，语义才好求解。这个道理早在乔姆斯基1957年语言学革命后提出表层结构到深层结构转换的时候，就开始成为（计算）语言学的共识了。结构树不仅是表达句法关系的枝干（arcs），还包括负载了各种信息的单词或短语的叶子（nodes）。结构树虽然重要，但一般不能直接支持产品，它只是系统的内部表达，作为语言分析理解的载体和语义落地为应用的核心支持。

接下来的一层是抽取层（extraction），如上图所示。它的输入是结构树，输出是填写了内容的 templates，类似于填表：就是对于应用所需要的情报，预先定义一个表格出来，让抽取系统去填空，把语句中相关的词或短语抓出来送进表中事先定义好的栏目（fields）去。这一层已经从原先的领域独立的 parser 进入面对领域、针对应用和产品需求的任务了。

值得强调的是，抽取层是面向领域的语义聚焦的，而前面的分析层则是领域独立的。因此，一个好的架构是把分析做得很深入很逻辑，以便减轻抽取的负担。在深度分析的逻辑语义结构上做抽取，一条抽取规则等价于语言表层的千百条规则。这就为领域转移创造了条件。

有两大类抽取，一类是传统的信息抽取（IE），抽取的是事实或客观情报：实体、实体之间的关系、涉及不同实体的事件等，可以回答 who dis what when and where （谁在何时何地做了什么）之类的问题。这个客观情报的抽取就是如今火得不能再火的知识图谱（knowledge graph）的核心技术和基础，IE 完了以后再加上下一层挖掘里面的整合（IF：information fusion），就可以构建知识图谱。另一类抽取是关于主观情报，舆情挖掘就是基于这一种抽取。我过去五年着重做的也是这块，细线条的舆情抽取（不仅仅是褒贬分类，还要挖掘舆情背后的理由来为决策提供依据）。这是 NLP 中最难的任务之一，比客观情报的 IE 要难得多。抽取出来的信息通常是存到某种数据库去。这就为下面的挖掘层提供了碎片情报。

很多人混淆了抽取（information extraction）和下一步的挖掘（text mining），但实际上这是两个层面的任务。抽取面对的是一颗颗语言的树，从一个个句子里面去找所要的情报。而挖掘面对的是一个 corpus，或数据源的整体，是从语言森林里面挖掘有统计价值的情报。在信息时代，我们面对的最大挑战就是信息过载，我们没有办法穷尽信息海洋，因此，必须借助电脑来从信息海洋中挖掘出关键的情报来满足不同的应用。因此挖掘天然地依赖统计，没有统计，抽取出来的信息仍然是杂乱无章的碎片，有很大的冗余，挖掘可以整合它们。

很多系统没有深入做挖掘，只是简单地把表达信息需求的 query 作为入口，实时（real time）去从抽取出来的相关的碎片化信息的数据库里，把 top n 结果简单合并，然后提供给产品和用户。这实际上也是挖掘，不过是用检索的方式实现了简单的挖掘就直接支持应用了。

实际上，要想做好挖掘，这里有很多的工作可做，不仅可以整合提高已有情报的质量。而且，做得深入的话，还可以挖掘出隐藏的情报，即不是元数据里显式表达出来的情报，譬如发现情报之间的因果关系，或其他的统计性趋势。这种挖掘最早在传统的数据挖掘（data mining）里做，因为传统的挖掘针对的是交易记录这样的结构数据，容易挖掘出那些隐含的关联（如，买尿片的人常常也买啤酒，原来是新为人父的人的惯常行为，这类情报挖掘出来可以帮助优化商品摆放和销售）。如今，自然语言也结构化为抽取的碎片情报在数据库了，当然也就可以做隐含关联的情报挖掘来提升情报的价值。

第四张架构图是NLP应用（apps）层。在这一层，分析、抽取、挖掘出来的种种情报可以支持不同NLP产品和服务。从问答系统到知识图谱的动态浏览（谷歌搜索中搜索明星已经可以看到这个应用），从自动民调到客户情报，从智能助理到自动文摘等等。

这算是我对NLP基本架构的一个总体解说。根据的是近20年在工业界做NLP产品的经验。18年前，我就是用一张NLP架构图忽悠来的第一笔风投，投资人自己跟我们说，这是 million dollar slide。如今的解说就是从那张图延伸拓展而来。

天不变道亦不变。

以前在哪里提过这个 million-dollar slide 的故事。说的是克林顿当政时期的 2000 前，美国来了一场互联网科技大跃进，史称 .com bubble，一时间热钱滚滚，各种互联网创业公司如雨后春笋。就在这样的形势下，老板决定趁热去找风险投资，嘱我对我们实现的语言系统原型做一个介绍。我于是画了下面这么一张三层的NLP体系架构图，最底层是parser，由浅入深，中层是建立在parsing基础上的信息抽取，最顶层是几类主要的应用，包括问答系统。连接应用与下面两层语言处理的是数据库，用来存放信息抽取的结果，这些结果可以随时为应用提供情报。这个体系架构自从我15年前提出以后，就一直没有大的变动，虽然细节和图示都已经改写了不下100遍了，本文的架构图示大约是前20版中的一版，此版只关核心引擎（后台），没有包括应用（前台）。话说架构图一大早由我老板寄送给华尔街的天使投资人，到了中午就得到他的回复，表示很感兴趣。不到两周，我们就得到了第一笔100万美金的天使投资支票。投资人说，这张图太妙了，this is a million dollar slide，它既展示了技术的门槛，又显示了该技术的巨大潜力。