博文
老师上阵拼刺刀的典范：Kernel Entropy Co
||
Kernel Entropy Component Analysis
Jenssen, R;
Pattern Analysis and Machine Intelligence, IEEE Transactions on
Volume: PP , Issue: 99
Digital Object Identifier: 10.1109/TPAMI.2009.100
Publication Year: 2010 , Page(s): 1 - 1
IEEE Early Access
Abstract | Full Text: PDF (1055 KB)
- 这篇文章也是一种特征降维的方法，不过跟一般的计较离散度的方法（如最大化整体样本离散度的PCA；最大化类间离散度、最小化类内离散度的LDA；最小化临近样本离散度的LPP；还有我最近想提出的最小化类内临近样本离散度，类间临近离散度最大化的方法）不同，这个特征变换的准则是：尽可能地保留原始样本的熵，哈哈，没听说过吧！
那么为什么作者能出奇制胜想到熵呢，注意他可是物理与技术系的副教授！而不是我们通常计算机系的。
- 更精彩的还在于，作者如何巧妙地将熵与核方法数据映射结合起来的：作者非常“凑巧地”发现，计算熵的时候用到的概率分布模型-Parzen窗，竟然跟核方法里K(x1,x2)的数学表达式一样！于是将熵的计算顺水推舟化作核矩阵的计算！于是变成一个核空间里的优化问题，而这个问题作者已经在上一节做了充分铺垫！真是神来之笔！
- 还有值得注意的是，最大的特征值，却不能保证熵的减少最少，这跟其他的降维方法不同；作者用的特征向量是能保证熵的减少最小的，也挺新颖的。
- 还有一个很赞的地方，作者将新提出的方法，放在不同的角度进行了解释，很通透。
- 其中最重要的解释是：作者把样本隐射到不同的方向上，竟有此神奇功效！而聚类的时候，可以以不同类的夹角为测度，我是没见过的。
看了三遍才看出巧妙的地方，不过值了！
可能的改进之处：
- 作者提出的是非监督的方法，我们可以考虑有监督的情况，出了整体样本的熵，还可以考虑不同类间的“互信息、互熵”啥的，我个人觉得很有潜力；
- 从信息论的角度出发考虑问题。
作者是挪威的一个副教授Robert Jenssen ，单独一人完成这篇，实验+论文：老师上阵拼刺刀的典范！
过想交流，可以来小木虫论坛，我发了个帖子：
http://emuch.net/bbs/viewthread.php?tid=1893813
导师要不要“拼刺刀”（韩健）
https://blog.sciencenet.cn/blog-205121-304724.html
上一篇：视觉保留的距离测度：Visuality-Preserving Distance Metric Lea
下一篇：女博士如何战胜第三者：Low-Complexity Feature Selecti
