稀疏表示在信息领域具有广泛的应用，其中包括：图像处理（如压缩、去噪、增强与超分辨）、音频处理（如盲源分离）与模式识别（如人脸与手势识别） 等。从实用角度看，具有针对性的灵活模型、计算速度、自适应以及高性能表示结果是稀疏表示方法在应用领域发挥其优势的关键问题。

信号的稀疏表示一般分为两大类方法：第一类是分析字典，如傅里叶基、DCT基、小波基、脊波字典、曲线波字典等；第二类就是根据数据或者信号本身训练的过完备字典。前者构造简单，但字典原子形态单一不能对复杂的自然图像进行有效的稀疏表示；而通过学习获得的冗余字典具有更好的自适应重构图像的能力，字典中原子与待重建图像具有相关性，能更有效表达图像局部结构特点，使得信号在字典上有更稀疏的表示。

南大周志华老师写的《机器学习》这本书上原文：“为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为“字典学习（dictionary learning）”，亦称“稀疏编码（sparse coding）”。

字典学习过程可以有多次迭代，一次迭代本身包含两大主要部分，即稀疏编码与字典更新，具体算法流程如下。

Olshausen等在权威的《自然》杂志刊登了一种Sparsenet算法的字典学习方法，其采用梯度下降算法和最大似然估计算法获得字典训练的更新，字典学习的理论雏形由此诞生。目前，主流的字典更新方法有：

1) 对所有字典列进行最小二乘求解的MOD字典更新；

2) 对单列字典逐次更新的KSVD算法；

3) 应用最小二乘法逐列更新的SGK算法；

本文从参与更新的字典原子列数入手，将残差项变形为多列原子同时更新，进而利用最小二乘法连续地更新字典中的多个原子。本文算法减少了单次迭代的计算量，加快了字典学习速度。实验表明，本文算法与K-SVD和SGK算法相比，在保证字典稀疏性和重构图像质量前提下，字典训练时间得到较明显缩短。