引用本文

汤瑞东, 杨春玲, 禤韵怡. 视频压缩感知多假设局部增强重构算法. 自动化学报, 2022, 48(8): 1984−1993 doi: 10.16383/j.aas.c190408

Tang Rui-Dong, Yang Chun-Ling, Xuan Yun-Yi. Local enhancement reconstruction algorithm based on multi-hypothesis prediction in compressed video sensing. Acta Automatica Sinica, 2022, 48(8): 1984−1993 doi: 10.16383/j.aas.c190408

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190408

关键词

视频压缩感知，多假设预测，相似块匹配，增强重构 

摘要

在基于多假设预测的视频压缩感知重构中, 不同图像块对应的假设集匹配程度差异较大, 因此重构难度差异明显. 本文提出多假设局部增强重构算法(Local enhancement reconstruction algorithm based on multi-hypothesis prediction, MH-LE), 利用帧间相关性对图像块进行分类后针对运动图像块提出像素域双路匹配策略, 通过强化图像块基本特征来提高相似块匹配效果, 获取更高质量的假设集; 同时将结构相似度评价标准引入假设块权值分配过程, 提高预测精度. 仿真结果表明, 所提算法的重构质量明显优于其他多假设预测重构算法. 和基于组稀疏的重构算法相比, 所提算法具有更快的重构速度, 在大部分的采样率条件下具有更高的重构质量.

文章导读

压缩感知(Compressed sensing, CS)[1]理论突破了Nyquist采样理论的瓶颈, 指出对于稀疏信号或可压缩信号, 可以用欠采样得来的数据高概率恢复出原信号, 采样率下限不再受限于信号带宽. 视频压缩感知(Compressed video sensing, CVS)是基于CS理论的视频信号编解码方案, 在编码端直接通过线性投影合并采样与压缩过程, 将计算压力转移至重构端, 十分适用于无线多媒体传感网络、无线视频监控等采样端资源受限的应用场景.

重构算法是压缩感知理论研究中的核心任务. 在图像压缩感知重构中, 文献[2]提出的分块压缩感知(Block-based compressed sensing, BCS)成为大多数重构算法采用的处理方式, 整个编解码过程以独立图像块作为基本处理单元, 显著降低了存储传输压力. 平滑Landweber投影算法(Smoothed projected landweber, SPL)[3]通过维纳滤波减轻分块处理造成的块效应, 因其重构的高效性成为图像压缩感知中的经典重构算法, 并广泛应用于CVS重构. 组稀疏重构算法(Group-based sparse representation, GSR)[4]提出组稀疏概念, 以相似块组进行奇异值分解后的奇异值具备稀疏性作为假设前提, 对每个相似块组建立自适应稀疏表示字典. 近年来, 研究人员尝试利用深度学习框架处理图像压缩感知问题, 并提出了几种信号重构的实现框架[5-6]. 基于深度学习框架的重构算法具有极高的重构速度, 但灵活性较差, 在不同采样率下均需训练出对应模型.

视频信号在图像信号的基础上增加了时间维度, 利用好帧间相关性是提高CVS重构质量的关键. 文献[7]将多假设预测(Multi-hypothesis prediction, MH)运用到CVS重构中, 并通过SPL算法对残差进行重构, 提出了多假设预测重构算法(Multi-hypothesis prediction BCS-SPL, MH-BCS-SPL). 在此基础上, 文献[8-9]对假设集的构造方式提出了优化方案, 有效提升了多假设预测精度. 文献[10]通过解弹性网回归问题求解各匹配块权重, 文献[11]在其基础上对l2范数正则化项引入了观测域距离权重, 进一步提高了预测精度. 文献[12]提出一种基于多参考帧的两阶段多假设预测算法(Two-stage multi-hypothesis reconstruction, 2sMHR), 在观测域多假设得到的重构帧基础上对视频帧进行重叠分块后再进行一次像素域多假设预测, 有效减轻了重构帧的块效应, 明显提高了视频重构质量. 为了提升图像组(Group of picture, GOP)中间帧的重构质量, PBCR-DCVS算法(Position-based cross reconstruction distributed CVS)[13]在对关键帧进行二次迭代重构的基础上提出位置交叉重构策略, 改进非关键帧的重构顺序并根据残差大小自适应扩大搜索窗. 基于MH的CVS重构算法重构速度较快, 具有较高的实用性. 与此同时, 受GSR算法在图像压缩感知重构的出色表现所启发, 研究人员基于GSR算法提出了一批新的视频压缩感知重构算法. 文献[14]提出加权残差稀疏算法(Reweighted residual sparsity, RRS), 根据信号残差的稀疏性建立求解模型, 在分裂Bregman迭代求解的过程中不断更新信号残差DCT (Discrete cosine transform)系数各分量的权重, 实现重构帧质量的不断提升. 文献[15]提出基于结构相似度(Structural similarity, SSIM)的帧间(Inter frame, InterF)组稀疏表示重构算法(SSIM-InterF-GSR), 将结构相似度(SSIM)作为相似块选取时的匹配准则, 提高了相似块组的组稀疏特性, 并引入阶梯递减方案调整组内相似块个数, 提高了重构精度. 基于GSR的CVS重构算法重构质量较高, 但因其繁琐的迭代过程导致算法复杂度较高.

多假设预测因其对视频帧间相关性的高效利用成为了CVS重构算法的关键技术之一, 但在重构中不同运动特征的图像块找到高质量匹配块的难易程度明显不同, 由于假设集与当前待重构图像块的匹配程度对图像块重构质量影响较大, 低质量的假设集合会极大增加图像块的重构难度. 针对此问题, 本文提出了一种局部增强的多假设预测方案(Local enhancement reconstruction algorithm based on multi-hypothesis prediction, MH-LE), 对初始重构质量不好的图像块进行增强重构. 主要创新点有: 1)根据图像块的运动情况对图像块进行分类, 采用不同的多假设预测方法进行预测重构; 2)提出像素域双路匹配策略, 同时利用双边滤波前后的图像进行相似块匹配, 提高假设集质量; 3)将结构相似度(SSIM)评价标准引入假设块权值分配过程, 提高预测精度.

图 1  MH-LE算法框架

图 2  运动块判断过程中间结果图

图 3  像素域双路匹配策略

在多假设预测重构中, 假设集与当前待重构图像块的匹配程度对图像块重构质量影响较大, 低质量的假设集合极大地增加了图像块的重构难度. 针对此问题, 本文提出了一种对部分图像块进行增强重构的多假设预测方案(MH-LE), 通过挖掘像素域上的有用信息来进一步提高图像块的重构质量. 该方案通过帧间像素变化情况将图像块划分为稳定块和运动块, 结合图像块自身结构特点对图像块采取不同的重构策略. 所提方案针对运动块提出了像素域双路匹配策略, 建立更高质量的假设集; 并将结构相似度评价标准引入假设块权值分配过程, 进一步提高预测精度. 仿真结果表明, 所提方案和其他基于多假设预测的重构算法相比具有明显的质量提升; 和基于组稀疏的重构算法相比, 在具有更低的算法复杂度这一优势的同时仍在大部分采样率下具有更高的重构质量.

作者简介

汤瑞东

华南理工大学电子与信息学院硕士研究生. 主要研究方向为视频压缩感知. E-mail: eerdtang@scut.edu.cn

杨春玲

华南理工大学电信学院教授. 主要研究方向为图像/视频压缩编码, 图像质量评价. 本文通信作者. E-mail: eeclyang@scut.edu.cn

禤韵怡

华南理工大学电子与信息学院硕士研究生. 主要研究方向为视频压缩感知. E-mail: eeyunyixuan2014@scut.edu.cn