引自：http://www.yeeyan.com/articles/view/3821/29791
 

近期，大家都在探讨推荐搜索引擎，主要是学习Amazon和Google是如何通过自己搜索引擎把产品和资讯推荐给自己的用户。

 

我们有幸采访了Satnam Alag先生，Satnam Alg先生是近期出版的书名为实战集体智慧的作者，在这本书中，Satnam Alag先生谈到了一个优秀的推荐搜索引擎需要什么，推荐搜索引擎技术的未来的发展方向，以及为什么Netflix会在改进自己引擎方面如此艰难。

 

披露：我写了实战集体智慧这本书，但对这本书我绝对没有任何的经济目的。

 

ReadWriteWeb：在我们近期关于Netflix公司的文章中，我们确定了四种主流推荐搜索引擎模式：个性化的推荐搜索引擎：根据以往的用户行为;群体行为推荐搜索引擎：根据以往的类似的用户行为；商品推荐搜索引擎：根据产品本身特点；以及上述三种的方法的组合。您是否同意我们文章中说的这4种类型的分类呢？

 

Satnam: 这四种分类非常全面。在我的书中，我还提出了另外一中分类建议。我归纳了两个最初级的种类。第一类，商品相关性类，推荐某一商品的相关产品。当用户选择了某商品，我们就推荐她和该商品相关的商品。第二类，用户行为分析类，根据对用户的分析，确定类似的用户。

 

更进一步的说，主要有2种方法可以找到相似的产品和用户。第一种，基于内容文本的检索，和item相关的内容，特别是文字，可用来计算相似性。第二种，用复合的方法，用划分等级，标签等等用来寻找类似item。对于第二种用户行为的检索，目前采取的办法是，根据包括个人基本资料信息，用户的历史行为，用户好友列表来推荐信息。当然，您也可以结合任何这些搜索item/用户行为和网页内容/复合计算的方式建立一个推荐搜索引擎。

 

了解具体item和用户空间的规模，对于我们在决定是采用搜索item检索还是采用户行为分析检索有非常大的影响。一般来说，搜索item检索比较适用于用户数量很小的情况。随着用户群的扩大，搜索item分析法需要用户行为分析法来弥补不足。

 

ReadWriteWeb：除了Amazon和Nerflix以外，还有哪家公司的推荐搜索引擎给您留下了深刻的印象？

 

Satnam: 除了Amazon和Nerflix以外，个性化的Google News频道是我最喜欢的。Google News是建立一个大规模的推荐搜索引擎的一个非常好的案例，她拥有数量庞大的用户群（每月数以百万计的独立用户）和庞大的搜索item（每2月数以百万计的新闻故事），而且这些信息在不断的变化。这一点和Amazon非常不一样，Amazon的信息更新率要低得多得多。Google为她的推荐搜索引擎采用复合筛选的决定主要是基于她数量庞大的用户群体以及这个技术同样可以广泛地应用于不同的任务，国家和语言。一个基于内容的检索方法或许同样可以做到这样的水平，但是，这就必需解决语言和地域的限制问题。Google希望能够通过调节这个复合筛选技术来解决内容分析方法难以解决的图片，video，还有音乐方面的推荐。

 

目前，我个人最喜欢的是我目前公司研发的NextBio。这个引擎目前还不可用，但应当在下个月可以上线。这个搜索引擎的最关键的一点就是对本体论的强大应用，类似于标签的概念，制作用户和搜索item的通用词表。然后该系统利用个人资料，以及用户交互信息，包括短期和长期的信息，提供搜索推荐。该系统充分利用了搜索item检索和用户行为分析检索2种方法。

 

ReadWriteWeb：您认为推荐搜索引擎可以在未来的几年内可以带来什么样商机呢?

 

Satnam: 一个优秀的个性化的推荐搜索引擎可 以说是网站的成功和失败的分水岭。由于现下的大多数情况下用户都在进行互动并互相补充各自的内容，新的内容，以惊人的幅度不断整合。在正确的时间，给正确 的用户推荐正确的内容，对于提升客户粘度至关重要。我无法相信一个网站可以没有一个为用户提供个性化体验的推荐搜索引擎而获得成功。

 

ReadWriteWeb：在您的书中您讨论了符合搜索过滤机制。您能告诉我这个系统是怎么融合到推荐搜索引擎的机制中去呢？

 

Satnam: 近 些年，不断增加的用户信息交互行为提供了大量的可以转化为人工智能的信息。这些交互信息会以评价，博客，标签，用户关系，对某共享共同的兴趣的形式存在。 这些信息曾多得让系统产生信息过载的问题。而现在，我们需要的是一个可以向用户推荐符合用户的兴趣并可以与用户互动的产品信息的搜索引擎。因此，个性化的推荐搜索引擎应运而生。

 

在我的书中，我从整体的角度来看待如何加强信息对个人的应用这个问题，而推荐搜索引擎将是一种不错的解决途径。这本书主要从内容文本检索和复合检索2个角度来编写推荐搜索引擎。它着重于获取用户的相关信息，包括相关应用的内外的信息，然后转化成相应的推荐。你编写的推荐搜索引擎的目的就是让你的网站使用这个推荐搜索引擎从而向用户推荐各种信息。读我的书的人应该能够根据我描述的方法建立这样一个推荐搜索引擎。

 

ReadWriteWeb: Netflix公司曾宣称如果有团队可以把他的推荐搜索引擎运算法则精确度提升10%，将可获得100万美元的奖金。现在时过2年，某些技术领先的团队已经达到了9.63%的精确度提升。尽管10%的提升将很有可能在短期内实现，有些怀疑论调依然存在，因为这些参选者目前只是在现有的基础上进行程序修补。你是否也认为这个10%能够在短期内实现呢？

 

Satnam: Netflix公司的推荐搜索引擎-Cinematch，使用的是类似于Amazon的通过一定数据的物物关联预算法则。由于Netflix的推荐搜索引擎目前本身已经是一个非常成功推荐搜索引擎，仍然能够将其提升高达9.63 ％的精确度是非常惊人的。当然，Netflix公司的这场竞赛，并没有考虑到速度的可行性或方法的可扩展性。它只是侧重于在缩小网站预期评价与用户评价的差距来评价搜索引擎推荐的信息质量。因此，目前尚不清楚Netflix公司是否能够将这次竞赛中产生的所有创新应用于实际。此外， Netflix公司没有符合文本分析法所需的大量的数据，正是出于这个原因，那支团队主要采用了复合过滤机制。

 

下面是实现10%精确度提升的挑战：

 

数据分布不均衡：此次竞赛的数据，包括1亿多匿名电影评级，评级范围是1至5星级，由480000用户和17770部电影组成。请注意，用户目标数据的人气分布严重偏低，有近99 ％的用户目标条目为零。每位用户的电影浏览分布也是不均衡的。中等浏览量的用户通常观看93部电影。约10 ％的用户为16部电影或更少，而25 ％的用户为36或更少。而有两个用户评价了多达17,000部电影。同样，每部电影的收视率也不均衡：几乎有一半的用户评价了一部热门电影（选美小姐） ;约25 ％的电影有190个或更少的评级;以及少数电影只有少于10次评级。

 

方法论：目前的胜出团队，BellKor，为了找到成功的解决方案花费超过2000个小时的数据浏览。该获奖解决方案是一个107套预测方案的线性组合。许多算法融合了k-NN模型和潜在因素模型，如奇异值分解/狭义Boltzmann分解模型（RBMs）

 

该获奖解决方案使用的k-NN模型来预测一个用户评价，同时利用皮尔逊的相关性和余弦的方法来计算的相似度，并更正搜索item特殊性和用户特定的偏见。该获奖解决方案同时也广泛应用了潜在语义模型。

 

BellKor小组发现，使用各种不同的模式来弥补各种捷径的不足是非常重要的。没有一个单独的模型可以达到的BellKor团队达到过的顶点。合并后的模式实现了8.43 ％的提高，超过Cinematch，而最好的方式-一种混合的K-NN网络应用于RBMs改善结果输出的方法实现了6.43 ％的改进。最大的改进方法是LSI的5.1 ％，最好的最纯纯的K-NN模型得分尚低于此（K在K-NN模型中是介于20至50的值。）。BellKor团队也采用了一些探索法，以进一步改善的结果。

 

BellKor团队展示了该竞赛中如果建立这样一个成功的解决方案的一些方法指南：

 

组合互补的模式，来帮助提高整体解决方案。请注意，线性组合的三种模式，分别对K-NN,LSI，RBM进行组合，将产生较好的效果，实现7.58 ％的提升。

 

优化的解决方案需要一个有原则的方法。

 

获胜的关键是建立一个可以准确预测时有足够的数据支持的模型，而不是一个没有足够的数据支持的模型。

 

最后的解决方案将遵循同样的思路，结合多种型号的启发式思维。参赛者将可能在未来一年或两年内达到魔术般的10 ％大关。

 

ReadWriteWeb: 有些人认为10 ％的大关是不可能单独依靠算法来实现的，“人”的因素将是必不可少的。例如， ClerkDogs采用视屏产品商店的前雇员来“创建一个比符合搜索引擎更丰富、更深度的数据库。”的服务。这是一种类似于Pandora的方法，它拥有50名员工来听取和标记各种歌曲。你认为算法可以在推荐搜索引擎中支持多远？

 

Satnam: 推荐搜索引擎并不是完美的。要编写一个成功的推荐搜索引擎需要考虑很多因素，包括方法，计算的速度，潜在模型，数据的采集验证等等。但实际应用证明，若我们可以研发更个性化的推荐搜索引擎，将产生较高的点击率，更大的客户粘性，并降低跳出率。

 

利用人工形成的丰富资料库工作可以应用于较小的数据的搜索推荐搜索引擎，但它的成本可能仍显得过于昂贵。我并没有看到人类与机器之间的相互竞争。即使人类/专家的推荐，我们也需要先找到一个和用户口味类似的人/专家，而且这往往需要排一个非常长的队伍。

阿里巴巴搜索技术中心 叶一中

转载本文请联系原作者获取授权，同时请注明本文来自孙静宇科学网博客。
链接地址：https://blog.sciencenet.cn/blog-273829-255498.html

上一篇：Hamming的著名讲演：YOU AND YOUR RESEARCH （zz)
下一篇：感激欺骗你的人（zz）