博文

《立委科普：关键词外传》精选

已有 5903 次阅读 2015-10-12 02:35 |个人分类:立委科普|系统分类:科普集锦| NLP, 搜索, 关键词, 检索, 盛业模式

Keywords as Technology and as Business Model. The entire search industry has relied on keywords as money-making machines. What are the limitations of keywords as technology? What are the limitations of keywords as business model? What are prospects beyond keywords? These are issues discussed in this blog and the next (in progress).

信息爆炸的时代，IT 领域风云多变，群雄争霸，此伏彼起。其中最精彩的故事之一就是搜索巨头的崛起。他们的谋生本领从技术和商业模式两方面看，都是所谓关键词（keywords）。于是关键词有了两个含义，一个是关键词的技术，另一个是作为广告基点的可以卖钱的关键词。

作为技术的关键词，从原理上看是再简单不过的了，就是给海量文本做个索引，以便检索。建索引是个相当古老的传统，严肃一点的教科书、手册和科技书籍，差不多都会在书前的目录之外，再建一个术语索引附于书后，以备读者查询。从满足信息需求的角度看，目录与索引的区别在方便随意浏览还是临时查询。一般人两种需求都有，譬如，每天查看新闻是很多人的习惯，那么进入新闻目录去分类浏览就是自然而然的了（这个需求的延伸就是如今手机上各类新闻推送，个性化服务，送货上门了）。一般而言，这个需求的特点是事先没有一个明确的问题需要解答，浏览看上去有点漫无目的，至少没有一个焦点，就是了解个动态。因此预制的目录和分类可以比较好的适应这种需求。第二个需求不同，信息需求者有个具体的焦点，或者疑问，他需要寻求答案。譬如家里抽水马桶坏了，查一查怎么修理抽水马桶。这类具体的需求千差万别，每个人每个不同的时间点，都可能产生一个特定的问题需要答案。因此，要想事先给这无限的开放的信息需求及其答案做目录式分类，是不可能的，因为有限的分类无法应付无限的问题。为了以不变应万变，关键词索引和检索应运而生，满足了这种需要。因为所有的具体问题或信息焦点，说到底都是由关键词组成的。前述抽水马桶的问题，心里的问题大概是“我的抽水马桶坏了，怎么修理呢”，电脑不懂人话，只好抽出表达主要概念的词（不抽的是所谓 stop words，就是”我“、“的”、“了、”呢“、”怎么“ 之类, 多是高频小词），其关键词就是：抽水马桶，坏，修理。关键词是语言表达的基本单位，因此从信息海洋中检索出来的网页只要按照这些关键词出现的密度（keyword density）排序，要寻找的答案应该就在里面了。（关键词密度排序是最基础的搜索技术，后来改进版的排序算法 Page Rank 更加注重网页本身的信誉度。）

互联网发展伊始，很快迎来了网页的爆发性增长，网人在信息的海洋中找不着北了。于是给网页做目录分类的雅虎兴盛了，门户网站门庭若市。人多了就好做生意，于是门户网站开始了网络时代的广告生意，各种闪烁的广告条让人眼花缭乱。后来人们发现，信息需求靠有限的目录和分类是无法满足的，需要一个工具来帮助搜索。谷歌百度等搜索引擎为支撑的公司遇到了历史的机遇。不过，刚开始的时候，他们也不知道怎样才能挣钱，他们不过是研制了这么一个搜索工具供网人自由使用，他们没有门户网站分门别类的丰富内容，对用户没有粘性，用户拿来就用，用完就走，很可能是回到了内容丰富规整的雅虎去浏览新闻去了。于是，他们就到各大网站去推销这套引擎，凡是大一点的门户或网站，都有一个支持网站内搜索的需求，也就需要搜索引擎，他们于是收取 license fee，这是典型的 B2B（企业对企业）商业模式，卖的是技术（工具）本身。可这么做难以做大，不过是网站门户的补充而已。

直到有一天，新的 B2C （企业对消费者）模式出来了，这才开启了搜索引擎大佬财源滚滚的时代。这个模式的基础就是发现了，关键词不仅仅是技术，是索引和查询的元件，而且关键词本身也可以卖大钱。卖给谁？当然是广告商，谁出钱多，就卖给谁，而且关键词数量巨大，加上关键词之间的组合（可以对关键词做与、或、非等操作），这个盘子可以做得很大，定期竞标，实现利润最大化（百度的所谓竞价排名：顺便说一下，比起谷歌的广告不得影响搜索排序结果的做法，百度有时太没品了，让人无语）。这一切的一切都基于关键词是最简单而且最容易掌控的语言表达的形式，广告商需要借助它与信息搜取者（潜在的用户）匹配上，这样就大大提高了广告的效益，因为广告从传统的被动轰炸客户（如传统媒体譬如电视）一下子提升到主动迎合客户的信息需求，因为在搜索过程中遇到的广告都是与所搜索的关键词密切相关的内容。这个关键词卖钱的商业模式是迄今互联网最成功的模式，经久不衰。

说到这里，我们可以问一下：用关键词来表达信息需求（譬如问题）、满足信息需求（譬如根据密度信誉度返回相关网页）以及代表广告内容，靠谱么？答案是 yes and no。从用户体验来看也是如此。很多时候似乎用关键词，再花点时间阅读反馈回来的前几个网页，就找到了问题的答案。也有的时候发现找不到答案，于是把自己的问题变换一下，抽取不同的关键词，譬如变成 “抽水马桶”，“不工作” 再去查询，答案就出来了，就在新返回的网页里。反正电脑检索是立等可取的，变换几次虽然要多费点儿劲儿尝试（trial and error），满足了需求也还是可以接受的。也确实有些时候，关键词怎么也玩不转，费了九牛二虎之力，尝试不同关键词的组合，可就是找不到答案。有的是心中的问题难以用关键词抽取来表达，譬如你想寻找产品发布的信息，就很难用关键词表达，第一，产品这个概念是一个开放集，没法用关键词去枚举。第二，“发布” 这个关键词是多义的，政治新闻的发布就与产品没有一毛钱的关系，没有动宾关系的制约，硬拿它做关键词去搜索，得到的就是信息巨多，太多杂音。总之，关键词作为语言的元件，表达信息不可能完整准确，它的好处是简单、鲁棒（robust）和查全率（recall）好，作为语言表达，关键词不过是一个最简单的近似，一个无奈的选择。

总结一下，关键词只是表象，它的价值植根于对信息的表达（载体）。是这种信息载体的身份使得它把用户的需求、网页的相关以及广告商的目标这三者联合起来，成为互联网经济的三大基石之一（电商交易和游戏服务是另外的两大互联网产业）。然而，关键词只是信息表达的最原始粗糙的元件，它没有抽象度，无法应对不可枚举的概念（譬如“产品”），它没有语词结构，最多只能用逻辑“与或非”操作关键词（术语叫 boolean query），而无法表达文法关系（譬如表达 “发布”的对象必须是产品）。所有这一切都是根子上的局限。因此，关键词不可能是信息时代的终点。关键词技术和关键词模式都面临而且需要一场颠覆式的革新。

下一讲预告《立委科普：关键词革新》，谈关键词的三面都面临怎样的颠覆式改革。

【后记】

这篇是地地道道的科普，太浅显、白话、常识了，老妪能解了吧，只是结论部分从天下大势和技术基础的角度指出了关键词技术和关键词模式的根本局限，算是夹带了私货：关键词面临革命（或者叫颠覆式革新更易让人接受，也更妥帖，因为不可能杀掉关键词，只是要剥夺它的信息唯一载体的地位）。

【相关博文】

《立委科普：关键词革新》 2015-10-17

《泥沙龙笔记：铿锵众人行，parsing 可以颠覆关键词吗？》 2015-10-10