博文
压缩感知与最大后验估计
|
近期大量阅读各种压缩感知和图像去模糊、去噪、填补的论文，我发现这些问题都可以归结为状态估计问题，而采取的目标函数往往都是保真项和正则约束项之和，并让这个泛函最小，如果从贝叶斯理论的角度思考这些问题，我发现全是一个问题，那就是最大后验概率估计问题，我们将这些论文做一个梳理，假设这些泛函目标函数称为能量函数E(x)，并给定一个吉布斯分布概率，P=1/(1+exp(E(x))，显然，当目标函数最小的时候，吉布斯分布的概率最大，这个过程跟贝叶斯理论中的思想（给定观测，以最大后验概率估计确定状态变量）非常吻合，即：给定一个模糊的观测，如果再给定一个先验知识，例如，状态在某个域下稀疏，那么，我们就能构建出以“保真项+正则项”的泛函，当目标函数达到最小，我们就认为，状态估计满足了保真约束（似然）和稀疏约束（先验约束），能量函数达到最小，从而使得吉布斯分布概率尽可能大。
我们的目的非常明确，就是要找到既满足与观测接近又满足某个域下稀疏的先验条件，从而获取对真实状态的估计，仔细对比贝叶斯理论，我们可以发现压缩感知和TV去噪等问题都可以归结为贝叶斯理论中的后验估计，其中保真项类似于似然估计。所谓似然，就是要找一个状态最大可能地相似于得到的观测，“然”，在 古文中的意思就是“这样”的意思，就是指模糊的观测，如果仅仅采用最大似然估计，那状态直接取为观测在观测函数反函数下的映射即可，这种估计显然还不够准确，如果我们再加上某个域下稀疏分布的条件作为先验知识的话，获得的估计显然要更加准确，这就是我们添加正则项的根本目的。综上，增加约束的过程就是增加先验的过程，先验知识越多，那么估计越准确，这个过程与贝叶斯理论何其相似！
我们的目的非常明确，就是要找到既满足与观测接近又满足某个域下稀疏的先验条件，从而获取对真实状态的估计，仔细对比贝叶斯理论，我们可以发现压缩感知和TV去噪等问题都可以归结为贝叶斯理论中的后验估计，其中保真项类似于似然估计。所谓似然，就是要找一个状态最大可能地相似于得到的观测，“然”，在 古文中的意思就是“这样”的意思，就是指模糊的观测，如果仅仅采用最大似然估计，那状态直接取为观测在观测函数反函数下的映射即可，这种估计显然还不够准确，如果我们再加上某个域下稀疏分布的条件作为先验知识的话，获得的估计显然要更加准确，这就是我们添加正则项的根本目的。综上，增加约束的过程就是增加先验的过程，先验知识越多，那么估计越准确，这个过程与贝叶斯理论何其相似！
顺便提一下，在正则约束泛函问题中，约束可以不止一项，当约束项较多的时候，我们就需要利用变量分裂的方式来去耦合求解，经典的通法有交替方向乘子法和分裂Bregman方法。
附录（费米能级与最优化理论的关系）：
http://user.qzone.qq.com/553702786/blog/1447670554
附录（费米能级与最优化理论的关系）：
http://user.qzone.qq.com/553702786/blog/1447670554
https://blog.sciencenet.cn/blog-684084-1020675.html
上一篇：Endnote简明教程
下一篇：高级信号处理必看书目
