今天是个好日子
– 立委研发笔记之二

作者：立委

今天是个好日子。

今天真是个好日子。

什么日子呢？这么说吧，就好比陈景润证出1＋1=2的那天，算不算个好日子。

写完上面几句话，兴奋了一天，终于轰然到下，难得地一觉睡到自然醒。所以，确切地说，标题应该是：昨天是个好日子。

我们搞研发的工匠，一辈子辛勤劳作，大多是蚂蚁啃骨头，所做很平凡，看上去也很枯燥。积累的是资源，操作的是实验。在这些漫长的routine工作中，偶然会有征服世界的幻觉，昨天就是这样一个时刻。

如果我说我灵机一动，解决了一个世界难题，一个世纪难题，那肯定是狂人痴语。可是，该怎么说这件事呢？有一个研发课题，有巨大的商业应用价值，很多人想都不敢想，有些人想了，尝试了，根本找不着北，我昨天灵机一动，解决了这个课题。这样的说法可以接受么？当然，这仍然是狂人痴语，可是我找不到更客观谦逊的说辞了。因特大网，吹牛不用上税。没有权威杂志发表，没有带来巨大财富的专利证明，一切就当笑话看好了。

具体细节不能讲，专利也好，商业秘密也好，一切在未定之中。但可以假语村言，与老友分享一下工匠的喜和乐。

故事是这样的。产品副总几个月前找到我，说，我们是做商业情报的，商业情报的重中之重是客户心理，我们的技术可以挖掘客户心理么？

我说 no, I cannot read people’s mind. I am only a linguist.

他说，明白，我们不是算命先生，指的当然是用语言形式表达出来的客户心理情报。

我说 yes, as long as it is expressed in language, we can have a try.

我的要求很简单，给我语言数据样本，说什么样的语言表达，需要从中提取的是什么样的情报。我就可以大体知道我们可以不可以挖掘出来，能挖掘到什么程度。这种判断力我是有自信的。一般来说，只要有关的语言表达法有迹可循，用我们多年积累的工艺（“科学技术”？），总是可以很准确地挖掘出一点情报来的，瓶颈在覆盖面（recall）: 难的挖掘课题覆盖面太小，无法应用。大体说吧，至少得有50%的覆盖面才有应用价值。

于是，数据样本来了。立委的判断也出来了，拍了胸脯：可以做。然后就是带领团队蚕吃桑叶一样农村包围城市，步步为营，覆盖了样本。看上去很美，感觉也不错，样本输入黑匣子，指望的情报就挖掘出来。我很高兴。产品副总也很高兴。我们眼看要做成一个没有人能做的伟业。

一周前，我做了个试验，找到一个足够大的具有代表性的真实语言样本（real life language corpus），让黑匣子夜里去挖掘，看看挖掘出什么名堂。第二天早上一看，傻眼了，挖掘量远远不如预期。

怎么回事呢？仔细抽查了样本，详细分析数据，发现了这样一个可怕的事实：语言表达有显性和隐形两种，产品组给我们提供的是显性样本。这也没什么不对，因为显性表达的用词和结构有明显的patterns，挖掘起来比较好办。也因此我敢拍胸脯说能行。本来想，就算显性表达和隐性表达一半一半，如果我们能挖掘前一半，只要我们能处理海量数据，由于语言普遍存在的信息冗余现象，我们还是可以提供客户心理挖掘的服务，使其成为我们产品的 killer feature。

想得太美，可现实是残酷的。分析表明，客户心理的语言表达90%以上是隐形的，显性表达只是冰山一角。客户上帝啊，你有什么想法，喜好和牢骚，为什么不直说呢？我们是多么想了解上帝的心理啊。

苦恼。苦恼了一周。现在这样的覆盖面，根本没有可能做成征服商业情报世界的 killer app.

产品副总也苦恼。说，recall, recall, that is killing us. 怎么办呢？蚂蚁啃骨头，不断啃，做一点算一点，覆盖面总能慢慢改善吧。客户心理是商业情报的皇冠明珠，不管多难，目标多遥远，还是要做。

前天夜里就被这个recall恶魔缠了一宿。到了凌晨四点，恍惚中开了天目，灵感不期而至。当时那个兴奋，真想大叫。看大小领导仍在熟睡。一个人到外屋，兜了几十个圈子，反复验证自己的想法，确认无误，我给公司发了一个短信：

Recall is not an issue in this case. Stay tuned.

口气很肯定，也卖了个关子，吊吊胃口。尤其是产品副总，他被这个恶魔缠得不比我轻。上午一见到他，我说：这样说吧，理论上的覆盖面是100%，实际操作上的覆盖面，不管怎么测量，我拍胸脯保证在 80% 以上。怎么样？

Too good to be true.

他很信任我，知道我不是口出狂言的那种，平时在产品和研发打交道的时候，我都是讨价还价的保守派，能做十分，我只担保八成。今天出此大言，其中必有奥秘。他急于知道，我只给了个引子。具体细节还是等到会上谈吧。召集的是特别会议，包括管理层以及产品组和工程组的技术骨干，有些骨干向来是以挑剔为能事的。首先让他们来检验，看能不能从我的鸡蛋里面挑出骨头来。

一只黑笔，一块白板，立法委员在上面涂鸦。陈景润当年算1+1也是这种场面么？

问题一大框。最终是，蓝图无懈可击，操作性毋庸置疑。当然，实现过程中还有细节可以斟酌，一切最终要看大规模实验的证明。

今天，oops，昨天，真是个好日子！

今天，今天也是个好日子，请听湘女的吉言和歌唱：

[flash]http://www.tudou.com/v/jK30OG2_0H0/&rpid=56834216/v.swf[/flash]
找到了土豆的一个版本（暂时代替youTube李佳娜－今天是个好日子，立委现场拍摄）

 【置顶：立委科学网博客NLP博文一览（定期更新版）】