乳腺癌是全球女性最常见的恶性肿瘤之一，早期精准诊断对提高生存率至关重要。近红外光谱断层成像（NIRST）作为一种无创、无电离辐射、低成本的光学成像技术，可通过量化组织内总血红蛋白等发色团浓度，为乳腺病变的良恶性鉴别提供功能性信息。然而，NIRST图像重建本质上是严重不适定的逆问题，传统方法重建质量有限。

近日，北京工业大学信息科学技术学院冯金超教授与胡婷博士团队在《Journal of Innovative Optical Health Sciences》上发表了一项突破性研究。他们提出了一种名为CNN-Trans的混合深度学习架构，将卷积神经网络（CNN）与Transformer相结合，利用MRI的结构先验信息引导NIRST重建，显著提升了图像质量和诊断性能。

Mengfan Geng, Zhe Li, Yingnan Dang, Chengpu Wei, Yuzhu Tang, Tianyue Xin, Zhonghua Sun, Kebin Jia, Ting Hu, and Jinchao Feng.A hybrid CNN-transformer network for magnetic resonance imaging-guided near-infrared spectral tomography.Journal of Innovative Optical Health SciencesOnline ReadyOpen Access

https://doi.org/10.1142/S1793545826400055

正文

研究背景：NIRST为何需要MRI“导航”？

NIRST通过测量组织表面的近红外漫射光信号，重建组织内部的总血红蛋白分布。然而，光子在生物组织中的强散射特性使得这一逆问题高度病态。将MRI结构先验引入NIRST重建过程，可以有效约束解空间，提高重建质量。

然而，现有方法存在一定局限性：基于CNN的模型虽然擅长提取局部特征，却难以建模MRI图像中的全局依赖关系；而纯Transformer模型能够建立长程依赖关系，但其计算开销大，且对细粒度的空间细节捕捉能力有限。如何兼顾局部细节与全局结构，成为提升重建质量的关键。

CNN-Trans：双编码器 + 动态特征融合

研究团队提出的CNN-Trans网络采用编码器-解码器架构，核心设计包括：

图1：CNN-Trans整体架构图。（a）模型总体结构；（b）Transformer模块；（c）动态特征融合（DFF）模块。

双分支编码器：

NIRST编码器：采用堆叠的3D卷积层（3×3×3核）结合自适应最大池化，提取NIRST测量数据中的局部特征。

MRI编码器：基于Vision Transformer（ViT），将MRI图像划分为16×16×18的非重叠三维块，通过4个Transformer块捕获全局上下文信息。

动态特征融合（DFF）模块：这是本研究的核心创新之一。DFF模块同时从通道维度和空间维度对多模态特征进行加权融合——通道注意力机制用于增强信息丰富的特征通道，空间注意力机制用于强化多模态特征中的重要空间区域。与简单的特征拼接或加法相比，DFF显著提升了多模态特征的互补性。

解码器：五级级联结构，逐步上采样并融合多尺度特征，最终输出三维总血红蛋白（HbT）浓度图像。

实验设计与结果

训练数据：研究团队从38例乳腺癌患者中选取22例患者的MRI图像来创建乳腺数字仿体，为脂肪、腺体和肿瘤组织区域赋予不同的发色团浓度，并利用NIRFAST求解扩散方程生成NIRST测量数据，最终获得了492组训练样本。

测试数据：独立于训练数据的308个仿真数据+38例患者中未参与训练的16例真实临床患者数据（11例恶性，5例良性）。

定量评估指标：MSE（均方误差）、PSNR（峰值信噪比）、SSIM（结构相似性）、HbT对比度。

仿真实验结果：与三种最先进方法（TransMEF、Z-AUTOMAP、DL-MRg-NIRST）相比，CNN-Trans在所有指标上均取得最优表现：

MSE降至2.27×10⁻²，比DL-MRg-NIRST降低3.81%

PSNR提升至20.81 dB，提升1.81%

SSIM达到0.89，提升7.23%

HbT对比度达到1.41，提升2.92%

图2：不同算法在测试集仿真数据上的代表性重建结果。青色线标示肿瘤边界，红色线标示正常组织边界。

消融实验：每个组件都不可或缺

补丁尺寸：16×16×18的小补丁相比32×32×36，MSE降低38.15%，证明小补丁更有利于保留局部细节。

融合策略：DFF模块相比简单拼接，MSE降低6.58%，HbT对比度提升10.16%。

编码器结构：CNN-Trans混合架构显著优于纯CNN编码器（CNN-CNN）和纯Transformer编码器（Trans-Trans）。

临床患者验证：零微调直接泛化

最令人振奋的结果是：所有模型仅在仿真数据上训练，直接应用于16例真实患者数据，未经过任何微调或再训练。

CNN-Trans以HbT对比度1.20为阈值，取得了：

• 灵敏度 90.9%

• 特异度 80%

• 诊断准确率 87.5%

• AUC 0.909

将DCE MRI与CNN-Trans的HbT对比度联合使用后，AUC进一步提升至0.945，特异度达到100%。

图5：16例临床患者的HbT对比度箱线图及ROC曲线。（a）四种模型在恶性组与良性组的HbT对比度分布；（b）DCE MRI、四种模型及MRI+CNN-Trans联合诊断的ROC曲线。

主要创新点

混合架构设计：首次将CNN（局部特征提取）与Transformer（全局上下文建模）有机结合用于MRI引导的NIRST重建，兼顾了细节保留与结构一致性。

动态特征融合模块：创新性地引入通道-空间双维度的动态加权融合机制，有效挖掘MRI与NIRST之间的互补信息。

仿真到临床的零微调泛化：仅用仿真数据训练的模型，直接在模型未见过的16例真实患者数据上取得优异的诊断性能，证明了模型强大的泛化能力和临床转化潜力。

全面的定量验证：采用MSE、PSNR、SSIM和HbT对比度四项指标，并结合仿真实验、消融实验及真实患者ROC分析，构建了完整的评价体系。

应用前景

乳腺癌早期筛查与鉴别诊断

NIRST可量化肿瘤新生血管导致的局部总血红蛋白升高。本研究证明，CNN-Trans可准确区分良性与恶性病变（AUC 0.909），为乳腺X线摄影或超声提供了低成本、无辐射的功能性补充。

多模态影像融合的普适性框架

CNN-Trans的设计思想——用一个模态提取局部特征、另一个模态提供全局结构先验——可推广至其他多模态成像组合（如PET/CT、SPECT/MRI）。

结语

本研究提出的CNN-Trans网络，通过巧妙融合CNN的局部特征提取能力和Transformer的全局上下文建模能力，并引入动态特征融合模块，显著提升了MRI引导下的NIRST图像重建质量。在仿真数据和16例真实患者数据上的验证结果表明，该方法在图像质量和诊断性能上均优于现有先进方法，且展现出优异的泛化能力。

这项工作为多模态光学成像的深度学习重建提供了新范式，有望推动NIRST技术向临床乳腺癌精准诊断迈出坚实一步。未来，研究团队计划在更大规模、更多样化的患者队列中验证该方法，并进一步优化计算效率。

通讯作者简介

冯金超，北京工业大学信息科学技术学院教授，主要研究方向为计算光学成像、微弱信号检测与智能感知、人工智能和医学成像。

更多详情见https://sist.bjut.edu.cn/info/1423/2327.htm

胡婷，北京工业大学信息科学技术学院教师。研究方向为图像处理、深度学习。

更多详情见https://sist.bjut.edu.cn/info/1423/2330.htm

支持单位：