博文
一篇工作被JPR报道
|||
前几天偶然发现09年底与电子科技大学的尚明生老师合作的题为“Relevance is more significant than correlation: Information filtering on sparse data ”的论文被主流学术媒体VerticalNews下属的重要物理类新闻杂志Journal of Physics Research专题报导，http://www.verticalnews.com/premium_newsletters/Journal-of-Physics-Research-/2010-02-23/68567PR.html。于是又翻出文章仔细回味一了番。
该文去年底发表在《欧洲物理快报》上，是到目前为止我写过的最短的一篇学术论文，仅仅三页半。该文推翻了根深蒂固的传统看法，并对绝大部分传统算法提出了挑战。文中所得结论在随后的研究中不断得到进一步证实。在协同过滤的推荐算法中，经常使用打分向量的pearson相关系数来刻画两个用户的相似性。而另一种计算相似性的方法仅仅考虑相关性，即是否打分，比如共同邻居，Jaccard等，而并不关心具体的分数是多少。这一类相似性我们称之为基于相关性的相似性。直观感觉前者（pearson系数）应该比后者更好，因为它使用了更多的信息。但是本文的试验结果显示，在稀疏的个性化推荐系统（绝大部分真实系统都非常稀疏）中，是否有关系比打分高低更重要，即只考虑是否打分的相似性得到的推荐结果，比考虑具体分数的Pearson关联得到的推荐效果更好！事实上最基本的原因是低分数在这两个相似性中起到了不同的作用，一个正面一个负面。例如，两个用户选择了同一个产品，一个打高分，一个打低分，对pearson系数而言，这对刻画两个用户的相似性起的是负面的作用，但是对于只考虑是否打分的基于相关性的相似性而言，起的却是正面的作用。
https://blog.sciencenet.cn/blog-329471-333914.html
上一篇：鼻涕虫也时尚穿豹纹装
下一篇：恭喜周涛荣获2010年度瑞士Chorafas青年研究奖
