The Bayes Decision Rule Induced Similarity Measures

Chengjun Liu;
Pattern Analysis and Machine Intelligence, IEEE Transactions on
Volume: 29 , Issue: 6
Digital Object Identifier: 10.1109/TPAMI.2007.1063 
Publication Year: 2007 , Page(s): 1086 - 1090

IEEE Journals  

Abstract  |  Full Text: PDF (699 KB)

这篇文章从数学上分析了：我们最常见的贝叶斯分类方法，是如何变成余弦相似测度的。

具体地，作者给出了4个假设，说，只要满足了这四个假设就行了～

满足前三个，就变成马氏距离；再加上第四个，就变成了很牛的余弦相似测度：

事实上，的确是因为加上了第四个假设，贝叶斯才变得这么牛的！

这个时候，作者开始怀疑：第四个是好假设，那么前三个呢？

尤其是第三个：假设所有类的所有协方差矩阵都一样，跟所有样本组成的集合的一样！

终于作者忘恩负义，回头揪住这个第三个假设不放了：这个假设放弃了类别的信息！如果破除这假设，加上类别信息，应该可以再提高余弦相似测度的性能！

W 是白化转换矩阵（whitening transformation matrix），这个矩阵是由协方差矩阵进行特征分解得到的，看到协方差矩阵，作者兴奋了，他做出了如下创新 ：

1.修改特征值，使其跟类别信息有关：每一维的特征值，重新由每个类的协方差平均得到！

2.直接修改协方差矩阵：原来的协方差矩阵，是整个数据集合的离散度；现在作者把它改成了每个类的类的类内离散度的均值。

完了，就这些创新。看起来不难，难的是创新的出发点，作者能想到这么多假设，将贝叶斯转换成余弦相似测度，并指出最重要的是第四条，更牛的是，能鼓起勇气推翻不重要的假设，进行提高！

启发：

1.作者的研究思路很值得借鉴：先从一个别的视角来解释一个方法，而后推翻解释中一些假设限制因素（忘恩负义），进行创新；

2.可以跟核熵成分分析结合，因为里面也用了角度的测度，跟余弦相似测度很像。

3.可不可以用别的方法修改协方差矩阵：既然作者用类内离散度，那复杂的其他离散度多了，比如LPP啥的，应该都可以用。

最后上作者王道，一个美籍华人，标准的温文尔雅呀！看起来很好说话。

有兴趣的同学跟他联系：http://cs.njit.edu/~liu/