我爱读PAMI分享 http://blog.sciencenet.cn/u/jingyanwang

博文

忘恩负义才能创新:Bayes Decision Rule Induced Similarity Mea

已有 3242 次阅读 2010-4-7 23:57 |个人分类:RED|系统分类:论文交流

The Bayes Decision Rule Induced Similarity Measures

Chengjun Liu;
Pattern Analysis and Machine Intelligence, IEEE Transactions on
Volume: 29 , Issue: 6
Digital Object Identifier: 10.1109/TPAMI.2007.1063 
Publication Year: 2007 , Page(s): 1086 - 1090

IEEE Journals  

Abstract  |  Full Text: PDF (699 KB)

这篇文章从数学上分析了:我们最常见的贝叶斯分类方法,是如何变成余弦相似测度的。

具体地,作者给出了4个假设,说,只要满足了这四个假设就行了~

满足前三个,就变成马氏距离;再加上第四个,就变成了很牛的余弦相似测度

事实上,的确是因为加上了第四个假设,贝叶斯才变得这么牛的!

这个时候,作者开始怀疑:第四个是好假设,那么前三个呢?

尤其是第三个:假设所有类的所有协方差矩阵都一样,跟所有样本组成的集合的一样!

终于作者忘恩负义,回头揪住这个第三个假设不放了:这个假设放弃了类别的信息!如果破除这假设,加上类别信息,应该可以再提高余弦相似测度的性能!

W 是白化转换矩阵(whitening transformation matrix),这个矩阵是由协方差矩阵进行特征分解得到的,看到协方差矩阵,作者兴奋了,他做出了如下创新 :

1.修改特征值,使其跟类别信息有关:每一维的特征值,重新由每个类的协方差平均得到!

2.直接修改协方差矩阵:原来的协方差矩阵,是整个数据集合的离散度;现在作者把它改成了每个类的类的类内离散度的均值。

完了,就这些创新。看起来不难,难的是创新的出发点,作者能想到这么多假设,将贝叶斯转换成余弦相似测度,并指出最重要的是第四条,更牛的是,能鼓起勇气推翻不重要的假设,进行提高!

启发:

1.作者的研究思路很值得借鉴:先从一个别的视角来解释一个方法,而后推翻解释中一些假设限制因素(忘恩负义),进行创新;

2.可以跟核熵成分分析结合,因为里面也用了角度的测度,跟余弦相似测度很像。

3.可不可以用别的方法修改协方差矩阵:既然作者用类内离散度,那复杂的其他离散度多了,比如LPP啥的,应该都可以用。

最后上作者王道,一个美籍华人,标准的温文尔雅呀!看起来很好说话。

有兴趣的同学跟他联系:http://cs.njit.edu/~liu/



http://blog.sciencenet.cn/blog-205121-309901.html

上一篇:女博士如何战胜第三者:Low-Complexity Feature Selecti
下一篇:先近邻再远亲:Sequential predictions Algorithm

3 徐耀 高绪仁 侯振宇

该博文允许注册用户评论 请点击登录 评论 (6 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-7-3 00:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部