内容
1. 问题描述
2. 背景介绍
Majorization-Minimization 思想
The Landweber Iteration
Soft-Thresholding
3. ISTA
ISTA 算法与l1 范数
ISTA 算法与l2 范数
4. 实验结果
5. ISTA 总结

问题描述
在信号处理领域，比如去噪、反卷积、插值、超分辨率等，
经常遇到线性求逆这一类经典问题：
y = Hx + n (1)
其中y 是我们观察到的信号， x 是待求的信号， n 为噪声，
H 为系统响应，往往已知。
当H 不可逆或者噪声经H􀀀1n 放大已经掩盖了真实信号x，
直接求逆往往不可行。

Majorization-Minimization 思想
目标函数J(x) 比较难优化的时候，我们往往寻找另外一个
更容易优化的目标函数G(x)，当G(x) 满足一定的条件时，
G(x) 的最优解能够无限逼近J(x) 的最优解，这就是MM 思
想。
同理，假如HT H 的秩很大，则求导运算复杂度较高，所以
同样可以利用MM 思想和Landweber 迭代

ISTA 总结
ISTA 算法的核心思想就是MM+Landweber 迭代，所以也称
为thresholded-Landweber algorithm：
这篇文章我们要记住的就是两点：1、MM 思想；2、卷积可
以非常简单的转换为矩阵相乘的形式：
ISTA 主要优点就是可以避免大规模的矩阵求逆，但是当H
非常病态并且 很小的时候，ISTA 收敛性很慢。
下次paperReading，我将继续讲解ISTA。主要讲述两种快
速ISTA 算法以及ISTA 与EM、Forward-Backward
Splitting、Separable Approximation 之间的互相推导关系。

相关下载详见 “视觉计算研究论坛”「SIGVC BBS」：http://www.sigvc.org/bbs/thread-41-1-2.html