博文
《立委科普：关键词革新》
精选
|||
《立委科普：关键词外传》提到了关键词的三个面向，关键词作为互联网摇钱树的秘密就在于它是这三面的粘合剂，以信息载体的身份。本篇要论的就是关键词在这三方面所面临的挑战和机遇。一场颠覆式改革正在大数据浪潮中酝酿。先从关键词的优缺点谈起。关键词的优点是：简单（simple），鲁棒（robust），查全率好（good recall）。这些优点也决定了它的两大局限：（1）查准率差（poor precision）；（2）表达手段贫乏（not expressive），甚至无法表达，不能胜任信息载体的工作。
优点缺点一个面向一个面向地谈，这样可以帮助看清关键词的全貌及其发展趋向。
先从用户的视角说，关键词的“简单”显而易见，因为任何信息都是由词汇组成的，训练用户在词汇中提取关键词是比较自然的事儿，所以基本人人会用。也有开始不会用的用户，譬如不知道把非关键的停止词（stop words）除掉，或者留下了太多的关键词（关键词之间默认是“逻辑与”的关系），这样去搜索，结果往往找不到合适的信息，但是吃几次亏用户慢慢就适应了。
关键词 query 作为检索的入口，其表达的贫乏和局限，我们每个网人都有过体会，有些想找的信息用关键词匹配就是找不到。道理很简单，思想和语言都是二维的，而关键词是一维，严格说，连一维都不够, 因为关键词的默认就是一袋子词，连次序的维度都不在内。具体来说，关键词作为query，既不精准，也不概括，在查准率（precision）与查全率（recall）两方面都有根本的局限。不精准的原因是所查的关键词之间关系是简单的“与”，因此无法确定返回的网页链接（URLs）里是不是有自己想要的情报，还是关键词的偶然共现（如果网页文字很多，偶然共现的可能性很大，返回来的则多为噪音）。对付这类噪音，目前的办法是给关键词加上引号（quoted query）把一袋子词变成线性词串去做 exact match，这个办法增加了词序的维度，的确大大降低了噪音，但同时也往往漏掉了太多，因为语言中相关联的关键词并不是总挨在一起，事实上紧挨着的通常是极少数。作为信息载体，关键词之间的关联的最好表达还是要揭示其内在的文法关系，这一点很少异议。第二条缺陷是关键词不具有概括性，因此也影响了查全率。很多人认为关键词除了简单外，最大的优点就是查全率好，这样看来似乎与缺乏概括性有矛盾。这个疑似矛盾实际上是基于查全率的两个不同定义。查全率的形式定义几乎就是为关键词量身定制的，说的是，关键词检索理论上可以做到100%的查全率：对于被索引的网页，系统完全可以返回所有的符合关键词query条件的相关网页，一个不拉，这在技术上是可以保证的。然而这种“查全率”不能反映用户的真实需求，因为同一个概念完全可能以不同的关键词来表达。满足信息需求的查全率必须以概念而不是关键词来计算。当这个概念是语词不可枚举的时候，关键词技术则根本无法表达，用户所要的查全率无法实现。【注一】
举个例子，如果你想搜寻公司购并的情报，现在的办法就是搜索 “公司购并”。这个效果差太远了，因为谈论公司购并里面恰好提到这两个词的是少数。多数的情形都是，Dell 购并了EMC, 苹果准备购买特斯拉，腾讯要买京东之类。关键词在这里遇到两大挑战：其一关键词没有概括能力，而有很多概念在语言表达中是没有办法枚举的，譬如公司的概念，我们没法在query一一列举所有的公司名： Dell|EMC|苹果|特拉斯|腾讯|京东......，这个给公司自动标注的工作叫做 NE（Named Entity tagging），通常是语言分析系统里面的一个组件。第二，关键词的 query 不允许设定任何文法关系的条件。譬如，公司购并的情报需要”公司“类的词作为 BUY （包括“购并”、“购买”、“买”等） 的宾语（对象），没有这个动宾（VO）条件的限定，返回的文件可能是噪音，里面恰好提到 BUY 和公司，但二者并没有并购的关系。对于这二者，深度分析系统都已经把握 了，其结果表达表现为带有节点语词及其标注的句法树，其中树结构的核心就是SVO（主谓宾）。因此，关键词query的升级应该是 SVO 这类关系条件的表达。这样的技术革新面对的最大问题就是如何培训用户使用SVO而不是简单的关键词 query。面对亿万用户，这似乎很难。然而，用户是可以训练出来的。我们整整一代人都被关键词训练过、洗脑过了，才学会了怎样使用关键词的不同组合尝试找到最好的结果。同理，SVO 也会经历这个用户自适应的过程。只要搜索界面设计得巧妙和intuitive，允许两种搜索并存，尝到SVO搜索甜头的用户会逐渐影响带动其他的用户。
最后说一下作为搜索公司客户的广告商（金主）。关键词的简单特性，在这里表现为商业标的的清晰，这是一个很大的优点。以关键词博弈定价易于操作，关键词最清晰，最少纠纷，谁买了就归谁，没有扯皮的事儿。广告商只要愿意花钱，可以竞标购买任何热门的关键词，也可以预见自己广告的投放情境，一切都是透明的。有权威人士认为关键词商业标的的清晰是压倒性的优点，以致任何革新如果削弱了这一点就难以成功。尽管如此，关键词的两大局限“精准度差”和“表达力弱”，从广告商的角度同样存在，而且很严重，因为这些局限直接影响了广告商客户的核心利益。长远看来，广告商不可能满足于用简单的关键词来作为广告内容连接用户的表达方式，因为它实在太简陋了。广告商的终极目标是精准投放，关键词虽然比传统广告的被动轰炸要精准，但是无法与语言自动分析理解基础上的精准匹配相比拟。从历史上看，关键词对传统广告的革命就是基于精准投放这个核心价值。前搜索时代，被动轰炸是广告商的唯一模式，突然出现关键词了，精准度大幅度提高，广告效果也容易追踪测量。现在 SVO 出现了，搜索面对的是更高阶段的精准投放，与上次广告革命非常相似。如果说让普罗百姓很快学会SVO来代替关键词不大现实，可作为广告商，直接购买表现力丰富得多的SVO 不是不可以想象的事儿。事实上，也可以对广告商客户做专业服务（professional service），不用他们操心广告高精准投放所需的SVO的具体表达形式，只要展示精准投放的实际效果即可。当然前提是搜索内容的 indexing 也做了相同的革新, 这样才能衔接得上，商业模式的推进才有可能。
总结一下，作为现存语言技术基础的关键词面临一场技术革命，因为语言深度分析技术与大数据处理的技术双方都已经成熟。革命不是杀头，深度分析对关键词，就是爱因斯坦对牛顿。抽取挖掘搜索等的质量大提升需要的是两条腿走路，一条是关键词，另一条就是SVO。到了应用领域的语义语用层，关键词，或者叫驱动词（driving words：严格地说，在SVO中，有的关键词保留成为驱动词，有的抽象为词的 feature了），依然不可或缺，但对关键词技术的颠覆式创新增加了语言结构这个关键。正如语言所老所长吕叔湘先生很多年前谈文法的关键性作用时说的，光有珍珠成不了项链，还要有珍珠串子。作为革新，信息载体应该也必须从关键词向 “驱动词+SVO” 过渡。
【注一】
其实，即便一个概念是可以枚举的，关键词 query 也常常困难重重。可以枚举的关键词理论上只要用逻辑“或”即可表达概念的外延，从而保证查全率。但事实上，很多关键词都是多义的，并不能多对一到想要搜寻的概念上，因此产生噪音。事实上，搜索服务曾经做过所谓“同义词扩展”（synonym expansion）的尝试，但很多时候由于自然语言词汇的多义带来的噪音而得不偿失。这个困扰在革命性的 SVO query 框架内不再成为挑战，因为在 SVO 看来，关键词不再是孤立的存在，而是受到上下文的文法关系约束的驱动词。多义在句法上下文中，噪音自然减除。这是 SVO 高于关键词的一个极大优势。
【相关博文】
《立委科普：关键词外传》 2015-10-12
《泥沙龙笔记：铿锵众人行，parsing 可以颠覆关键词吗？》 2015-10-10
https://blog.sciencenet.cn/blog-362400-928747.html
上一篇：世人皆错nlp不错，民调错大数据也不会错
下一篇：温哥华的美是骨子里的
