近年来，尽管光电探测技术与精密光学技术发展迅速，但光学仪器的成像质量仍然面临信号噪声等严峻挑战。对于复杂的成像过程进行物理建模，与深度学习有机结合，有望突破经典技术手段面临的诸多局限。以荧光显微成像技术为例，由于成像过程固有的模糊和噪声，显微镜获取的原始荧光图像不可避免的受到退化影响。为了实现快速高分辨率成像，国内外许多实验室在显微镜硬件设计或相关的图像处理算法等方面做出了重大努力。

在这一领域的研究过程中，浙江大学刘华锋教授团队、美国国家生物医学成像和生物工程研究所Hari Shroff（现入职Janelia Research Campus）研究团队、芝加哥大学的Patrick La Riviere研究团队进行了广泛合作并取得了系列成果。2020年，该联合研究团队在Nature Biotechology上发表了一篇名为“Rapid image deconvolution and multiview fusion for optical microscopy”的文章，其中提出了两种提高图像分辨率的优化方法，一种是优化Richardson-Lucy去卷积算法中的反向投影算子可以提高去卷积的效率，另一种是利用深度学习网络进行去卷积映射关系的学习。近年来，深度学习网络在各个研究领域都有不凡表现，但是它难以解释的“黑盒”特性以及对训练数据质量的高度依赖性，导致使用一种数据训练的基于内容（Content-based）的模型很难直接应用于其他类型数据上。

基于成像模型的优化方法往往具有很好的泛化能力，比如针对同一成像系统，在点扩展函数不变的假设下，Richardson-Lucy去卷积算法可以直接应用于不同数据。但是这些优化方法需要使用者有一定的调参经验才能更好发挥其效果，比如反向投影算子的设计过程需要涉及到一系列参数调节，不正确的参数调节将影响去卷积效率或引入伪影。而在深度学习研究中，往往绕过复杂的成像过程，直接利用目标的高级特征。出于结合传统优化方法的泛化能力和深度学习强大的学习能力的考虑，本研究提出一种Richardson-Lucy Network（RLN），将成像的物理模型引入全卷积网络中，构建新型智能模态。

图1. Richardson Lucy去卷积的分解以及RLN的训练和应用。RLN的方案设计包括三个部分：下采样估计模块、原始尺寸估计模块和融合模块。下采样估计模块和原始尺寸估计模块的FP1、DV1、BP1、FP2、DV2、BP2遵循RL去卷积迭代公式。在训练期间，低分辨率数据（即输入）送入RLN，相应的高分辨率真值用于监督网络参数的学习。应用模型时，RLN执行常规测试（训练数据集与测试数据集包含相同类型的结构）和泛化测试（测试数据集和测试数据集来自不同结构的数据）

由于在Richardson-Lucy去卷积算法和全卷积网络中，卷积操作都是关键步骤，RLN利用深度学习中的卷积层替代了Richardson-Lucy去卷积算法中的卷积操作，相当于使用网络对去卷积算法中的正向投影算子和反向投影算子进行学习。RLN的设计理念如图1，它包括三个模块：下采样估计模块、原始尺寸估计模块和融合模块，同时兼顾了大视野和精细结构的恢复。

图2. 使用RLN处理diSPIM采集的大型透明组织数据集优于基于迭代去卷积方法的流程。a)在不同大小的数据上，对RLN的处理时间与基于迭代去卷积方法的流程的处理时间进行比较，RLN的处理效率有4-6倍的提升。b)某些区域的单视图原始数据、双视图联合去卷积结果和RLN处理结果的比较。红色箭头表示双视图联合去卷积结果相对于原始输入和RLN结果的伪影。这可能是由于两个原始视图的不成功配准导致的。c)是b)中矩形区域的放大视图，进一步证明了较差的联合去卷积结果。比例尺: b) 50 μm; c) 20 μm.

本研究通过仿真数据以及多种成像系统采集的真实数据对RLN的去卷积能力、泛化能力进行了展示，并通过展示网络的中间过程输出显示了RLN和传统去卷积方法的联系，从一定程度上提供了RLN的可解释性。在RLN种种优异表现中，有几点格外突出。比如，结合了“裁剪拼接”模块的RLN能够实现大型透明组织光片显微数据后处理流程4-6倍的加速（图2），以250GB（6370 x 7226 x 2850 体素）的数据为例，RLN相比于之前使用的基于迭代去卷积的方法加速了5倍并且得到的结果精度更高。

图3. 用合成数据训练的RLN处理宽场显微图像的效果优于RLD。a）合成数据的生成流程。（b）固定的Cos-7细胞核孔复合物图像的横向和轴向平面切片展示，比较了宽场显微输入数据、100次迭代Richardson-Lucy去卷积迭代（RLD）结果、Leica Thunder输出（商用软件）、RLN（用合成数据训练）预测输出和作为真值参考的配准共聚焦数据。c）是b）中蓝色矩形区域的放大视图。视觉分析（例如，红色箭头）表明，RLN结果在横向和轴向视图中均优于Thunder（橙色箭头所示的明显伪影）和RLD，显示了接近共焦参考的细节。比例尺: (a) 5 μm; (b) 10 μm; (c) 3 μm.

RLN另一令人惊艳的优势就是它的泛化能力。通过使用合成数据（图3a）对RLN进行训练，在与合成数据使用相同（或类似）点扩散函数的真实生物数据集上对RLN进行测试时，本研究发现RLN能提供鲁棒的去卷积，并且能提供比传统去卷积和先进的商业去卷积软件更好的效果（图3b）。这一特点十分有用，因为在真实实验中采集高信噪比、高质量的训练数据是复杂有难度的，尤其是获取高分辨率真值。

鉴于RLN的优秀表现，RLN还有更多有趣的应用值得进一步开发，可以与多种成像系统结合，大幅提升成像系统的性能。

相关论文信息：

https://doi.org/10.1038/s41592-022-01652-7