博文
非负矩阵分解的算法_2012/11/11
||
Algorithms For Non-negative Matrix Factorization
本文主要的贡献是1）给出了两种迭代求解非负矩阵分解的算法；2）给出了一种求解最小值的辅助函数。
1.两种计算非负矩阵分解（$V\approx WH$）的算法
1.1 以欧式距离($\left \| V-WH \right \|$)作为代价测量的迭代规则
$H_{a\mu }\leftarrow H_{a\mu }\frac{(W^TV)_{a\mu}}{(W^TWH)_{a\mu}}$
$W_{ia }\leftarrow W_{ia}\frac{(VH^T)_{ia}}{(WHH^T)_{ia}}$
1.2 以散度（$D(V\left | \right |WH) =\sum_{ij}(V_{ij}\log\frac{V_{ij}}{(WH)_{ij}}-V_{ij}+(WH)_{ij})$）作为代价测量的迭代规则
$H_{a\mu}\leftarrow H_{a\mu}\frac{\sum_{i}W_{ia}V_{i\mu}/(WH)_{i\mu}}{\sum_{k}W_{ka}}$
$W_{ia}\leftarrow W_{ia}\frac{\sum_{\mu}H_{a\mu}V_{i\mu}/(WH)_{i\mu}}{\sum_{\nu }H_{a\nu}}$
2.一种辅助函数的定义
如果$G(h,h')$满足$G(h,h')\geq F(h),G(h',h')=F(h')$时，称G是F的一种辅助函数。F在以$h^{t+1}=\arg \min_h G(h,h^t)$迭代规则下是非递增的。下面我用图简单展示。
从图中可以看出$F(h^{t+1})\leq G(h^{t+1},h^t)\leq G(h^{t},h^t)=F(h^t)$， 依次迭代可以求出$F(h_{min})$ .
在应用过程中我们只需要结合要证明的内容凑出所需的辅助函数即可。此辅助函数还可用于证明上面给出的迭代算法的正确性，也可证明收敛性等等，在应用过程中需要灵活掌握其思想。
原文：
https://blog.sciencenet.cn/blog-795427-631216.html
上一篇：NMF reading list
下一篇：两种ONMF的算法_2012/12/26
扫一扫，分享此博文