肿瘤存在异质性的问题早已经是生物医学界的常识，但是对于活检应该重点从肿瘤具体什么样的地方进行穿刺取样却是临床医学指南上的空白。目前人工智能算法在医学影像学中应用广泛，且常常集中于各类分类疾病诊断和组织、器官分割问题。然而尽管医学影像可以在很大程度上反映病变的特征，但现实中存在常见的“同病异影，异病同影”的现象，因此基于影像学特征的判读一般作为筛查用，更具效力的诊断还是需要依靠穿刺活检细胞病理乃至组织病理——当然，训练基于细胞或者组织病理的鉴别诊断的人工智能模型也是关注的重要方向之一。但整体上来看，虽然组织病理结果是金标准，但其侵入性强且对患者创伤较大，长远上大家都希望能实现创伤更小的精准诊断，尽可能避免做组织病理。因此如何帮助提升穿刺细胞活检的诊断准确率便是一个重要的突破口，包括开发利用单细胞测序或者蛋白组学等技术方法试图提高基于穿刺采样得到的少量细胞实现更精准的诊断这方面的努力。这样的努力当然是重要的，然而此类研究忽略了一个重要的前提，就是如果活检采的细胞样本本身不具代表性的话，上述的技术爱莫能助。

       为了帮助更精准的采样，我们提出了在非侵入性的超声影像的指引下通过人工智能算法进行肿瘤异质性的可视化用于帮助人们更准确地定位肿瘤内部恶性表现更突出的位置所在。为实现这一目标，我们采用了人工智能算法中常常被用作深度学习“可解释性”问题解决方案的Class Activation Map即类激活视图（对于如何得出诊断而言，这种可视化的手段并不能提供基于何种图像特征而进行诊断的必要性解释），但实际上更适合我们提出的满足定位需求的问题，因为类激活视图被提出的本意就是定位对于影响模型类别判断重要的所在像素位置，并对其进行可视化，颜色越红的区域对于该类别的判断越重要。但在我们之前，并无人关心对这样的可视化进行定量分析——利用训练好的人工智能模型对被认为重要性不同因此被渲染成不同颜色的区域进行诊断，到底会得到何种不同的结果？结果有无统计学差异，这种可视化的差异又是否存在与肿瘤病理图像存在必要的相关性？

      为开展这样的验证和测试，我们用超声甲状腺结节良恶诊断模型对每一张甲状腺结节超声图像生成相应的类激活视图，并在智能模型得到的分割结果的基础上把渲染的视图进一步分割成五个面积相同的同心几何形状。我们一开始直接利用诊断模型对各个不同的区域进行诊断，得到的诊断ROC曲线都很糟糕，无法开展后续的研究。事后我们想到的解释是这样强行分割肿瘤图像会得到各种怪异的形状，而对于甲状腺结节良恶鉴别诊断结节本身的形状也是重要的判断依据，于是我们后续我们改为对不同区域添加等量的攻击噪声——我们的科学假说是对于得到正确诊断结果的重要区域，应该更容易受到攻击噪声的影响，因此诊断ROC曲线应该表现更差，而对于得到正确诊断结果不重要的区域添加攻击噪声应该不会对ROC曲线造成严重的影响。如果不同区域受攻击噪声的影响并无显著差异，那么类激活视图就不是一个可有效可视化肿瘤异质性差异的方法。事实证明我们的假说是正确的，即不同区域添加的等量的攻击噪声对于诊断模型的影响确实是差异化的！

       在该研究中，我们使用了来自合作方中国科学院大学附属肿瘤医院（浙江省肿瘤医院）有明确组织病理诊断，来自2488名病人一共2602个结节，其中良性结节1581例，恶性结节1021例。

图1：超声甲状腺结节局部放大图（a, d），与（a, d ）对应的类激活视图（b, e）和完整的原超声甲状腺结节和类激活视图叠加效果图（c, f）。第一排的示例为一个良性结节，第二排显示的是一个恶性结节。

图2：对类激活视图进行分割（a-e）并添加等量的攻击噪声（f-j, 差异肉眼不可见）并输入到模型得到诊断效能不同的ROC曲线k，及各区域得到的ROC曲线两两对比的统计学差异结果l。

        细心的读者可能会发现传统的类激活视图不论甲状腺结节的良恶，渲染得到的图片都会存在红色和蓝色的显示（对应诊断模型得到其诊断结果重要和不重要的区域），并不能直观反映诊断模型输出的结果是良是恶。为了直观地反映这一结果，我们做了一个小的改进，即把诊断模型输出的“恶性概率”与传统类激活视图的结果相乘，这样模型判断为良性的结节就会整体显示为蓝色，恶性结节则会显示出红蓝渐变的异质性，非常直观。同样的，我们测试了对改进的、被我们称之为“恶性热力图”进行五等份分割并添加等量攻击噪声对模型诊断效能的影响，也显示出显著的统计学差异（尽管ROC曲线下面积AUC值的差异视觉上不如传统类激活视图好），见下图3。

图3：我们提出的“恶性热力图”的显示效果以及对各结节视图进行五等份分割并分别添加攻击噪声对模型诊断效能的影响。

        以上结果显示类激活视图及我们提出的恶性热力图可以有效显示不同区域对于诊断模型的重要性确实是存在差异性的。但临床上，大家更关心的是这样的可视化结果与病理的对应效果如何？作为回顾性研究，我们无法开展针对性的临床试验去验证从热力图显示存在差异的不同区域进行采样进行细胞病理诊断得到的结果是否存在差异性，这导致我们希望早早发表该结果好申请医学伦理从而开展这样的研究屡屡受挫，尽管我们投过稿的多个杂志，包括最开始投稿的European Radiology杂志的主编和副主编对我们提出的方法非常感兴趣，都一致认为我们原创性非常高，但是因为缺乏必要的临床验证被屡屡拒稿。可如果我们的结果发表不了，又怎么为后续的临床验证试验申请医学伦理呢？我们陷入了进退两难的境地。

       为了突破新思路难以发表的难题，除了补充模型对结节分割（中位数Dice系数>0.9）以及完整结节进行诊断效能（测试集AUC值达到0.9302）的结果，我建议作为合作方肿瘤医院超声科的王立平副主任找找医院病理科组织病理的图片，如果我们提出的“恶性热力图”能和组织病理切片中癌变区域能够较好地吻合，我们或许能得到发表的机会。但这不是一个非常容易的事情，因为作为一项完全的回顾性研究，超声科采集的超声图像肿瘤切面可能都和病理科的组织切面对应不起来。好在这个方法本身确实具有应用前景（当然我相信我们需要对现有的方法进行一些必要的优化），我们顺利找到了非常具有说服力，有代表性的病例，见下图4。我个人最喜欢第三个例子，超声图像显示只有一个结节（图4g）,但是热力图红色区域显示该结节内部存在两个紧邻的红色分区，而组织病理切片也同样显示为两个恶性区域（图4i）。相似的，图4中第一个示例恶性热力图红色区域也显示肿瘤带着一个小尾巴（图4b），与组织病理癌细胞聚集区域的几何形状类似（图4c）。

图4：我们提出的基于超声图像甲状腺结节的恶性热力图与组织病理的对应关系示例。每一排对应同一个甲状腺恶性肿瘤。第三列各示例中癌细胞聚集区域为病理医生手动勾画区域。

        补充了这样的结果，我们试试投稿Frontiers in Oncology，在审稿人的要求之下补充了模型在竞赛用的MICCAI Shanghai公开数据集也取得良好的分割结果（由于该数据集使用说明要求只能用于竞赛而不能用于论文发表因此没有公开，只用于评审用）以及超声医生对红色、蓝色区域依照ACR TIRADS超声特征评分对比的结果后最终获得了学术编辑Aaron Fenster教授（著名医学物理学家，对超声三维成像做出了突出贡献，并当选了加拿大医学科学院院士）的认可而获得正式发表：

Wang L, Wang Y, Lu W, Xu D, Yao J, Wang L and Xu L (2023) Differential regional importance mapping for thyroid nodule malignancy prediction with potential to improve needle aspiration biopsy sampling reliability. Front. Oncol. 13:1136922. doi: 10.3389/fonc.2023.1136922

        话说我跟Aaron Fenster教授有过网上的一面之缘，而他应该不会记得我曾经在一次跨国线上会议上给他报告中讲述到的一个技术问题提出解决方案（我记得我没做任何自我介绍就直接给他提建议了），得到过他非常积极正面的回应和感谢——当时他们遇到的一个问题是，训练的人工智能模型在跟踪金属针尖或者电极（记不清楚具体是针还是电极）的位置时因为受到超声强发射的干扰会发生错误，我提出如果物体本身不发生大的弯曲形变的话可以将此作为一个限制条件会有助于解决他遇到的技术问题，他当即表示是一个非常好的想法，他会尽快让实验室测试我建议的方法（只是我未再关注过如今的进展情况）。现在我又通过另外一种方式得到了他对我开展的研究的肯定，我很开心。

       这应该是我在杭州作为PI主导的研究的最后一篇论文（我还有几篇深度参与的论文应该还会陆续发表），两年时光（2021年1月至2022年12月），完全换了研究方向（回国以前是从事荧光光谱和超分辨荧光显微镜成像技术以及图像算法开发和应用研究的，并在跨国企业担任过首席光学设计师、机器视觉应用工程师，在杭州主要从事医学用人工智能算法研究，主要针对超声）从头开始已经顺利发表了七篇SCI论文（见下面文章列表，其中*表示通讯作者），我自觉是个不错的成绩，也祝福自己未来的学术道路顺利。

1. Wenli Dai, Yan Cui, Peiyi Wang, Hao Wu, Lei Zhang, Yeping Bian, Yingying Li, Yutao Li, Hairong Hu, Jiaqi Zhao, Dong Xu, Dexing Kong, Yajuan Wang*, and Lei Xu*. Classification Regularized Dimensionality Reduction Improves Ultrasound Thyroid Nodule Diagnostic Accuracy and Inter-observer Consistency. Computers in Biology and Medicine. 2023 March; 154(6):106536. doi: 10.1016/j.compbiomed.2023.106536 

2. Xiaohong Jia, Zehao Ma, Dexing Kong, Yamin Li, Hairong Hu, Ling Guan, Jiping Yan, Ruifang Zhang,Ying Gu, Xia Chen, Liying Shi, Xiaomao Luo, Qiaoying Li, Baoyan Bai, Xinhua Ye, Hong Zhai, Hua Zhang, Yijie Dong, Lei Xu*, Jianqiao Zhou*, CAAU. Novel Human Artificial Intelligence Hybrid Framework Pinpoints Thyroid Nodule Malignancy and Identifies Overlooked Second-Order Ultrasonographic Features. Cancers. 2022 Sep; 14(18):4440. doi:10.3390/cancers14184440

3. Dong Xu, Yuan Wang, Hao Wu, Wenliang Lu, Wanru Chang, Jincao Yao, Meiying Yan, Chanjuan Peng, Chen Yang, Liping Wang*, Lei Xu*. An artificial intelligence ultrasound system's ability to distinguish benign from malignant follicular-patterned lesions. Frontiers in Endocrinology (Lausanne). 2022 Oct; 31(13):981403. doi: 10.3389/fendo.2022.981403

4. Liping Wang, Yuan Wang, Wenliang Lu, Dong Xu, Jincao Yao, Lijing Wang*, Lei Xu*. Differential regional importance mapping for thyroid nodule malignancy prediction with potential to improve needle aspiration biopsy sampling reliability. Frontiers in Oncology (Lausanne), 2023 Apr; 13:1136922. doi: 10.3389/fonc.2023.1136922

5. Fangqi Guo, Wanru Chang, Jiaqi Zhao, Lei Xu, Xuan Zheng, Jia Guo. Assessment of the statistical optimization strategies and clinical evaluation of an artificial intelligence -based automated diagnostic system for thyroid nodule screening. Quantitative Imaging in Medicine and Surgery. 2023 Feb; 13(2):695-706. doi: 10.21037/qims-22-85

6. Yuan Wang, Lei Xu, Xiangkai Kong, Wenliang Lu, Kaiyuan Shi, Liping Wang, Dexing Kong. Clinical evaluation of malignancy diagnosis of rare thyroid carcinomas by an artificial intelligent automatic diagnosis system. Endocrine. 2023 Apr; 80(1):93-993. doi: 10.1007/s12020-022-03269-4

7. Yating Ling, Shihong Ying, Lei Xu, Zhiyi Peng, Xiongwei Mao, Zhang Chen, Jing Ni, Qian Liu, Shaolin Gong, Dexing Kong. Automatic Volumetric Diagnosis of Hepatocellular Carcinoma based on Four-phase CT Scans with Minimum Extra Information. Frontiers in Oncology (Lausanne), 2022 Oct. 13(12): 960178. doi: 10.3389/fonc.2022.960178