陈颖频的科学网博客分享 http://blog.sciencenet.cn/u/s110500617

博文

压缩感知与最大后验估计

已有 3779 次阅读 2016-12-14 15:21 |系统分类:科研笔记

近期大量阅读各种压缩感知和图像去模糊、去噪、填补的论文,我发现这些问题都可以归结为状态估计问题,而采取的目标函数往往都是保真项和正则约束项之和,并让这个泛函最小,如果从贝叶斯理论的角度思考这些问题,我发现全是一个问题,那就是最大后验概率估计问题,我们将这些论文做一个梳理,假设这些泛函目标函数称为能量函数E(x),并给定一个吉布斯分布概率,P=1/(1+exp(E(x)),显然,当目标函数最小的时候,吉布斯分布的概率最大,这个过程跟贝叶斯理论中的思想(给定观测,以最大后验概率估计确定状态变量)非常吻合,即:给定一个模糊的观测,如果再给定一个先验知识,例如,状态在某个域下稀疏,那么,我们就能构建出以保真项+正则项的泛函,当目标函数达到最小,我们就认为,状态估计满足了保真约束(似然)稀疏约束(先验约束),能量函数达到最小,从而使得吉布斯分布概率尽可能大。
   
我们的目的非常明确,就是要找到既满足与观测接近又满足某个域下稀疏的先验条件,从而获取对真实状态的估计,仔细对比贝叶斯理论,我们可以发现压缩感知和TV去噪等问题都可以归结为贝叶斯理论中的后验估计,其中保真项类似于似然估计。所谓似然,就是要找一个状态最大可能地相似于得到的观测,”,在 古文中的意思就是“这样”的意思,就是指模糊的观测,如果仅仅采用最大似然估计,那状态直接取为观测在观测函数反函数下的映射即可,这种估计显然还不够准确,如果我们再加上某个域下稀疏分布的条件作为先验知识的话,获得的估计显然要更加准确,这就是我们添加正则项的根本目的。综上,增加约束的过程就是增加先验的过程,先验知识越多,那么估计越准确,这个过程与贝叶斯理论何其相似!
  顺便提一下,在正则约束泛函问题中,约束可以不止一项,当约束项较多的时候,我们就需要利用变量分裂的方式来去耦合求解,经典的通法有交替方向乘子法和分裂Bregman方法。
附录(费米能级与最优化理论的关系):
http://user.qzone.qq.com/553702786/blog/1447670554


https://blog.sciencenet.cn/blog-684084-1020675.html

上一篇:Endnote简明教程
下一篇:高级信号处理必看书目
收藏 IP: 202.115.10.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-8-11 19:19

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部