flyada的个人博客分享 http://blog.sciencenet.cn/u/flyada

博文

[转载]个性化推荐的十大挑战之七:推荐系统效果评估

已有 5697 次阅读 2012-4-5 15:50 |个人分类:随手摘录|系统分类:科研笔记|关键词:评估,效果| 评估, 效果 |文章来源:转载

挑战七:推荐系统效果评估

 

推荐系统的概念提出已经有几十年了,但是怎么评价推荐系统,仍然是一个很大的问题。常见的评估指标可以分为四大类,分别是准确度、多样性、新颖性和覆盖率,每一类下辖很多不同的指标,譬如准确度指标又可以分为四大类,分别是预测评分准确度、预测评分关联、分类准确度、排序准确度四类。以分类准确度为例,又包括准确率、召回率、准确率提高率、召回率提高率、F1指标和AUC值。朱郁筱和吕琳媛总结了文献中曾经出现过的几乎所有的推荐系统指标[44],这些指标都是基于数据本身的指标,可以认为是第一层次。实际上,在真实应用时,更为重要的是另外两个层次的评价,第二个层次是商业应用上的关键表现指标,譬如受推荐影响的转化率,购买率,客单价,购买品类等等,第三个层次是用户真实的体验。绝大部分研究只针对第一个层次的评价指标,而业界真正感兴趣的是第二个层次的评价(譬如到底是哪个指标或者哪些指标组合的结果能够提高用户购买的客单价),而第三个层细最难,没人能知道,只能通过第二层次来估计如何建立第一层面和第二层面指标之间的关系,就成为了关键,这一步打通了,理论和应用之间的屏障就通了一大半了。

 

[44] 朱郁筱,吕琳媛,推荐系统评价指标综述,电子科技大学学报(已接收).



http://blog.sciencenet.cn/blog-636598-555666.html

上一篇:[转载]个性化推荐的十大挑战之六:用户行为模式的挖掘和利用
下一篇:[转载]个性化推荐的十大挑战之八:用户界面与用户体验

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-10-19 15:41

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部