xiaokeshengming的个人博客分享 http://blog.sciencenet.cn/u/xiaokeshengming

博文

效率提高上千倍!算法赋能成像:速度“快”起来

已有 401 次阅读 2020-6-30 13:33 |个人分类:小柯生命|系统分类:论文交流

随着生物医学成像的数据采集技术的迅速提高和广泛应用,数字化数据量巨大。


以荧光显微镜技术为例,为了更多更高分辨率的图像,这些数据可以达到GB甚至TB级别,它们的后处理,比如提高图像分辨率和对比度的去卷积和多视角图像融合,通常耗时远远超过数据采集时间。


如何对这样的问题进行处理,已经成为当前医学成像领域需要解决的共性问题。

 

北京时间2020年6月29日晚23时,浙江大学光电科学与工程学院和美国国立卫生研究院(NIH)联合在Nature Biotechnology在线发表题为“Rapid image deconvolution and multiview fusion for optical microscopy”的研究论文,提出了荧光显微镜图像去卷积和多视角图像融合的新技术,使荧光显微镜图像后处理的效率提高了数十甚至上千倍。


浙江大学光电科学与工程学院的博士生李玥和NIH的郭敏博士为论文的共同第一作者,NIH的吴一聪博士和浙江大学的刘华锋教授是本文的共同通讯作者。


 

研究团队首先修改了显微镜图像后处理过程中常用的去卷积算法,使其运行更快。


对于通常受泊松噪声影响及点扩展函数退化的图像,理查德森-露西去卷积(RLD)可以通过迭代的方式获得去模糊的样本估计[1,2],并且可以用来实现同一样品的多个不同视角图像的融合[3]。


然而,为了得到满意的结果,RLD通常需要大量迭代处理时间。


RLD的迭代更新公式如下:

1.jpg

其中,i为采集到的图像,ekek+1分别是样本在第k次和第k+1次迭代的估计结果。一般使用显微镜点扩展函数。


传统RLD中,一般取为的转置,称为匹配的反向投影算子。在医学图像重建领域中,一个非匹配的反向投影算子可以加速去卷积的迭代过程[4]。


研究团队首次将这一理论应用于荧光显微镜去卷积中,设计出了三种不同的反向投影算子,分别是高斯反向投影算子(Gaussian)、巴特沃斯反向投影算子(Butterworth)、维纳-巴特沃斯反向投影算子(Wiener-Butterworth)(图1)。


特别是提出的维纳-巴特沃斯反向投影算子,对于论文中多种数据都实现了只需一次迭代就能获得满意的结果。

 2.jpg

图 1 非匹配反投影算子可以减少理查德森-露西去卷积需要的迭代次数。a)前向投影算子和反向投影算子的结果展示。c)使用不同反向投影算子对线粒体图像进行去卷积结果。d) c中结果的局部放大图。a和b中scalebar在空域和频域分别为1 mm和1/100 nm-1。c和d中scalebar分别为10 μm和1 μm。

 

其次,研究团队将图像配准算法改进并应用到GPU上,并在进行复杂的3D图像配准前实行了一个初步的2D配准,实现更快更稳定的表现效果以及30-175倍的配准提速。


对毫米级大型透明组织数据,研究团队提出了一个针对TB尺寸的单个3D图像处理流程:将原始3D图像切分成子块,每个子块进行配准和去卷积,最后将处理后的子串进行拼接,最终形成各向同性的亚微米分辨率的大型三维图像(图2)。

3.jpg

图 2 小鼠脑组织(4 x 2 x 0.5 mm3)透明成像的三维图像,Scalebar依次为500 μm、100 μm、30 μm、10 μm。

 

最后,为了加速空间变化点扩展函数模糊的显微镜图像去卷积过程,研究团队还设计了一种3D全卷积结构的网络模型DenseDeconNet(图3)。


与维纳-巴特沃斯反投影算子针对变化点扩展函数去卷积的任务相比,进一步实现了50倍的加速。

 4.jpg

图3:用于去卷积的DenseDeconNet结构


本文中, NIH的Hari Shroff博士组织协调了20多个研究单位共同参与上述优化算法的应用研究,使用了多种尺寸由微米级至毫米级的数据进行效果验证,涉及七种不同类型的显微镜,最终实现了几十至上千倍的图像后处理加速。


毫无疑问,这些优化算法可以加速基于图像的生物观察,为现代新型荧光显微镜的研究提供了更多可能。

 

相关论文信息:

DOI:10.1038/s41587-020-0560-x

 

参考文献

1Richardson, W. H. Bayesian-Based Iterative Method of Image Restoration. JOSA 62, 55-59 (1972).

2Lucy, L. B. An iterative technique for the rectification of observed distributions. Astronomical Journal 79, 745-754 (1974).

3Ingaramo, M. et al. Richardson-Lucy deconvolution as a general tool for combining images with complementary strengths. ChemPhysChem 15, 794-800 (2014).

4Zeng, G. L. & Gullberg, G. T. Unmatched Projector/Backprojector Pairs in an Iterative Reconstruction Algorithm. IEEE Trans Med Imaging 19, 548-555 (2000).




http://blog.sciencenet.cn/blog-3423233-1240041.html

上一篇:谢蔚臻团队研究发现大脑如何高效地搜寻记忆
下一篇:沈侠团队开发出用于估计遗传相关的“高精度似然函数”新方法

1 杨金波

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-7-2 18:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部