大规模计算重建：计算成像的必由之路

北京理工大学边丽蘅副教授和清华大学索津莉副教授合作，在《激光与光电子学进展》发表题为“大规模计算重建理论与方法”的特邀封面文章，综述了计算成像中大规模计算重建技术的研究进展与应用，并展望了其未来发展趋势。

封面解读

封面展示了大规模计算成像的典型范式。通过光电编码将多维度光场信息耦合在低维度、欠采样的采集数据上，后续利用计算方法从采集数据中解码重建大规模光场信息。

文章链接

鞠钦宇, 桂进斌, 王晓诗. 基于波前记录平面的计算全息图快速生成算法最新研究进展[J]. 激光与光电子学进展, 2022, 59(24): 2400001

所见真的即所得吗？

光学成像是人类认识、感受与分析世界的重要途经。近年来，现代光学对多维度、多尺度成像探测的迫切需求日益增长，“所见即所得”式的传统光学成像方式逐渐难以满足应用要求。在此背景下，计算成像技术应运而生。通过将多维多尺度光场信息压缩编码为低维采集数据，并采用计算方法解码重建目标的光场信息，可以有效提升光学系统对物理世界的信息采集能力。计算成像系统的空间带宽积已逐渐达到十亿甚至百亿级别，为顺应数据爆炸时代的发展需求，亟需高精度、低复杂度以及能够适用于不同计算成像系统的大规模重建方法。

交替投影优化重建

最早的交替投影算法（Alternating projection, AP）由Gerchberg 和Saxton 在1972年开创，其算法架构如图1（a）所示。该算法受能够获取空间域强度和频域强度的电子显微的启发，其在空间域和傅里叶域之间交替变换，并施加相应约束，最终重建出目标信息。如今该方法的泛化性已被进一步拓展，并成功应用于单像素成像等其他计算成像领域。图1（b）-(d)展示了交替投影优化算法的变体形式（由Fienup等人在1978年提出），他们进一步放松了原始算法的约束条件，加快了收敛速度并提升了性能。

图1 交替投影算法流程

在应用方面，交替投影算法因其强泛化性而被广泛地应用到晶体学、光学成像、天文学等众多领域。在光学成像领域，大量实践表明，此类方法具有低计算复杂度的特点，目前已在大规模、高空间带宽积相位成像领域实现了十亿像素级成像。接下来，本文将以傅里叶叠层显微成像和相干衍射成像为例，重点介绍交替投影在相位成像领域的应用。

傅里叶叠层显微成像技术（Fourier Ptychographic Microscopy, FPM）是由康涅狄格大学Guoan Zheng提出的一种低成本超分辨显微技术。它基于频域中的移位对应于空域中的角度变化的原理，利用不同角度的LED光源照亮样本，捕获的图像对应于频域不同子孔径的信息。通过交替投影算法对相位信息进行恢复，最终实现了约10 亿像素、120 mm2 视场的高空间带宽积成像。交替投影算法在FPM中的实现步骤如图2（a）所示。首先使用测量值的平方根作为复数目标的初值，之后迭代地在傅里叶域施加孔径支持域约束和在空间域施加测量值约束。

相干衍射成像（Coherent Diffraction Imaging, CDI）技术起源于人们对非晶体材料结构观测的需求。它于1999年由加州大学洛杉矶分校Jianwei Miao提出，是一种新颖的无透镜成像技术。CDI 技术使用相干或者部分相干光穿透样本，从而样本波前会受到调制，在不同厚度或者折射率突变的地方发生传播方向的改变。最后再使用交替投影算法从强度图像中恢复目标相位，即可重建出目标的分布。交替投影算法在CDI中的实现步骤如图2（b）所示。其在空间域和傅里叶域之间投影迭代，并在空域使用非负约束（即样本分布密度不能为负），在傅里叶域中施加测量值约束。

图2 交替投影优化算法在傅里叶叠层显微成像和相干衍射成像中的应用[1-2]

深度图像先验

深度图像先验（Deep Image Prior, DIP）是随着深度学习技术兴起的一种神经网络与传统优化联合重建的范例。它突破了神经网络模型需要大规模训练的估摸模式，使用卷积神经网络自身的模型架构与连接方式作为图像生成先验，形成了一种高效高精度的图像重建框架。DIP的发明验证了人为设计的神经网络结构本身能够获取到低维图像的统计信息，这启发了以深度神经网络作为图像生成模型与物理模型优化联合的研究。图3展示了DIP的算法架构，在数学形式上，其目标函数可表示为：

其中Net 为神经网络，θ为网络参数，z为神经网络的输入信号，y为测量信号，f为正向成像模型。输入信号z可以是随机噪声、测量信号或利用其他方法求解的初始值。DIP通过优化网络参数θ获得重建图像，其计算复杂度与mini-batch为1的端到端深度学习训练阶段相同，适用于较大规模计算重建。相比于端到端训练的深度学习方法，DIP无需预训练，因此对于缺少大规模数据集的计算重建任务更加鲁棒，泛化性更强。

图3 深度图像先验算法架构

目前，DIP已被广泛应用于各类计算成像任务，包括相位成像和相位解包裹等，如图4所示。DIP需要特定的迭代次数以达到收敛，过少或过多的迭代次数会带来欠拟合与过拟合现象导致成像质量较低，所以研究DIP网络的收敛性与最佳收敛方法具有重要的意义。目前，对DIP的后续研究则集中在神经网络架构、网络与传统图像先验的联合、多网络并行优化等方面。总的来说，探究更适合DIP的轻量级网络结构与优化方法是未来研究的重点。

图4 深度图像先验在各计算成像任务中的表现

即插即用优化

即插即用（Plug and Play, PNP）是另一种深度学习与传统物理模型联合优化的架构。它将计算重建问题分为数据保真项和先验正则项等若干子问题，分而治之。其中，数据保真项子问题的更新一般采用近端梯度法或闭式解法，先验正则项的更新则直接采用图像去噪算法。图像去噪算法通常采用“现成的”算法作为插入求解器，具有灵活可变的特性。近年来随着计算机视觉和深度学习技术的进步，基于深度学习的图像去噪网络展现出了强大的性能。去噪网络一旦训练完成，兼具去噪速度与去噪质量，助力了即插即用算法在大规模重建中的应用。

如今，即插即用算法在图像去模糊、超分辨、相位恢复、核磁共振成像、光学断层重建、压缩感知重建等众多任务中取得了令人满意的重建效果和强大的泛用性，如图5（b）-（c）所示。即插即用方法未来的研究热点和发展方向包括但不限于先进的优化架构、轻量级高精度的图像去噪/图像增强网络以及算法泛化性的进一步探索等。

图5 即插即用优化架构与应用[3]

总结与展望

大规模计算重建需同时满足高精度、低复杂度以及适用不同系统的灵活性的要求。我们在这里梳理的三类方法在一定程度上实现了大规模计算重建，但由于成像时空分辨率需求和现有计算效率的固有矛盾，难以实现对目标的实时大规模观测。综合考虑现存技术瓶颈，未来将现有研究与迁移学习、自适应重建以及专用先验的设计结合，有望进一步促进本领域的发展，形成更准、更快、更灵活的大规模计算重建方法。

作者介绍

边丽蘅，北京理工大学长聘副教授、博士生导师，长期从事智能光电感知领域的研究，主持国家自然科学基金面上项目、重点项目课题、国家重点研发计划课题等项目，出版“十四五”国家重点出版物专著1部，在Nature旗下LSA、eLight等期刊发表SCI论文40余篇，获授权国内外发明专利20余项，入选中国科协青年人才托举计划、北京市优秀人才培养资助计划，获公安部科学技术一等奖、中国指挥与控制学会科学技术一等奖、中央军委科技委第三届“源创杯”创新创意大赛全国总决赛一等奖，培养学生获得中国传感器创新创业大赛全国二等奖。

索津莉，清华大学长聘副教授、博士生导师，教育部青年长江学者。近年来主要从事计算摄像学理论与关键技术研究，包括高通量计算摄像与计算显微、单像素压缩成像等，在领域国际期刊与会议上发表高质量学术论文80余篇，包括领域顶级期刊Nature Photonics、IEEE TPAMI等。先后承担国家自然科学基金面上项目（已结题）、重大仪器研制专项子课题、重点项目、优青项目等。关键技术获授权国家发明专利20余项、国际发明专利3项。相关成果获2016年国家科技进步二等奖（第3完成人）、2015年度电子学会科学技术奖一等奖（第2完成人）。

参考文献

[1] Zheng G, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature photonics, 2013, 7(9): 739-745.

[2] Miao J, Ishikawa T, Robinson I K, et al. Beyond crystallography: Diffractive imaging using coherent x-ray light sources[J]. Science, 2015, 348(6234): 530-535.

[3] Chang, X, Bian, L, Zhang, J. Large-scale phase retrieval[J]. eLight, 2021, 1, 4.