Non-negative Matrix Facorization with Sparseness Constraints

1.单词

latent 潜在的，隐藏的； explicit 明确的，清楚的； substraction 减法，差集；

interpret 说明，解释； unary 一元的； side-effect 副作用；

qualitatively 定性地，从质量上； warrant n.证明，正当理由；v.保证，担保，批准，辩解；

absense 不存在，缺席； hinder 阻碍，后面的； alleviate 减轻，缓和；

verify 核实，证明； coefficient 系数，coefficient vector 系数向量；

convex 凸的； deverse 不同的，各种各样的； quantify 量化，为...定量；

pack into 挤进，塞进； to date 至今，迄今为止； transpose 颠倒顺序，转置；

signify 表示，意味； subsequently 随后，其后； quadratic equation 二次方程式；

sphere 范围，球体； quandrant 象限； trail and error 反复试验，尝试错误法；

2.内容总结

2.1 对非负矩阵分解的解释

    非负矩阵分解是一个线性的，非负的近似数据表示。假设数据包含T个N维非负标量的测量值。测量向量$\mathbf{v}_{t}(t=1,...,T)$，它的一个近似可以由下面公式给出：

$\mathbf{v}_{t}\approx \sum_{i=1}^{M}\mathbf{w}_{i}h_{it}=\mathbf{W}\mathbf{h}_{t}$，

其中$\mathbf{W}$是一个包含基向量$\mathbf{w}_{i}$作为它列的$N\times M$矩阵。注意到每一个测量向量都是用同一组基向量来表示。M个基向量$\mathbf{w}_{i}$可以认为是数据的“砖”，系数向量$\mathbf{h}_{t}$描述了在测量向量$\mathbf{v}_{t}$中每一块“砖”的强度。

    将测量矩阵$\mathbf{v}_{t}$作为$N \times T$矩阵$\mathbf{V}$的列，我们可以写成：

$\mathbf{V}\approx \mathbf{W}\mathbf{H}$，

其中$\mathbf{H}$每一列是对应于$\mathbf{v}_{t}$的系数向量$\mathbf{w}_{t}$。写成这种形式，很清楚地看出来是一个简单的矩阵分解数据表示。PCA，ICA，NMF都可以看作是带有不同目标函数或者约束的矩阵分解。

2.2 稀疏度

    稀疏度一般是指数据中0所占的比例大小。下面给出一种稀疏度测量方法：

\[sparseness(\mathbf{x})= \frac{\sqrt{n}-(\sum \left | x_i \right |)/\sqrt{\sum x_{i}^{2}}}{\sqrt{n}-1},\]

其中n是$\mathbf{x}$的维度。这个函数只有当$\mathbf{x}$只包含一个非0成分时才为1，只有当所有成分都含有相等值的时候才为0，其他时候介于两者之间。

2.3 带有稀疏约束的NMF

    很多时候很多应用需要明确地控制矩阵分解的稀疏性，这就需要我们找到一种控制稀疏度的解决方案。那么怎么控制呢？是控制$\mathbf{W}$还是$\mathbf{H}$呢？这需要依赖具体问题具体分析，我们在解决中可以颠倒两个矩阵的角色来确定约束哪个矩阵或者两个都约束。下面我们给出一个带有稀疏约束NMF的定义：

定义：带有稀疏约束NMF

    给定$N \times T$大小的非负矩阵$\mathbf{V}$，分别找到$N\times M$和$M \times T$的矩阵$\mathbf{W}$和$\mathbf{H}$，使得

\[E(\mathbf{W},\mathbf{H})=\left \| \mathbf{V}-\mathbf{WH} \right \|^{2}\]

在可选约束下最小，

\[sparseness(\mathbf{w}_{i})=S_{w},\forall i\]

\[sparseness(\mathbf{h}_{i})=S_{h},\forall i\]

其中$S_{w}$,$S_{h}$分别是$\mathbf{W}$和$\mathbf{H}$的稀疏度，由用户给出。

2.4 带稀疏NMF计算算法

下面给出计算带稀疏约束NMF的算法：

上面算法中很多步骤用到映射（project）操作，下面如下定义它：

最后给出原文：

2004_Non-negative Matrix Factorization with Sparseness Constraints.pdf