引用格式: 王飞跃, 金征宇, 苟超, 沈甜雨, 郑文博, 王建功, 胡振华, 张志成, 王晓, 田捷, “基于ACP方法的平行医学图像智能分析及其应用”, 中华放射学杂志, 2021, Vol. 55, No. 3, pp. 309-315. DOI: 10.3760/cma.j.cn112149-20200321-00214.

Citation: Wang Feiyue, Jin Zhengyu, Gou Chao, Shen Tianyu, Zheng Wenbo, Wang Jiangong, Hu Zhenhua, Zhang Zhicheng, Wang Xiao, Tian Jie, "ACP‑based parallel medical imaging for intelligent analytics and applications", Chin J Radiol, 2021, Vol. 55, No. 3, pp. 309-315. DOI: 10.3760/cma.j.cn112149-20200321-00214.

基于ACP方法的平行医学图像智能分析及其应用

ACP‑based parallel medical imaging for intelligent analytics and applications

王飞跃, 金征宇, 苟超, 沈甜雨, 郑文博, 王建功, 胡振华, 张志成, 王晓, 田捷

Wang Feiyue, Jin Zhengyu, Gou Chao, Shen Tianyu, Zheng Wenbo, Wang Jiangong, Hu Zhenhua, Zhang Zhicheng, Wang Xiao, Tian Jie

【摘要】 近年来，人工智能技术在自然图像分析领域取得了巨大的进展。这些技术也被广泛应用于医学图像领域，以便更好地诊断、治疗疾病和判断预后。然而，由于医学图像在数据标注和专家知识方面的复杂性，使得这些技术的实际应用具有较大的挑战。本文基于ACP方法提出了一个融合医生智慧与计算智能的医学图像分析新框架——平行医学图像。传统的医学图像分析直接从带标注图像中学习模型而不能很好地解释诊断决策，平行医学图像引入了描述智能、预测智能和引导智能来提高模型的泛化能力和诊断的可解释性。我们采用平行闭环优化模型来挖掘并融合医学知识，从而优化辅助诊疗系统。最后，本文以乳腺癌为例探讨了平行医学图像框架在医学图像分析中的实际应用。

【关键词】 平行医学图像； 平行智能； 辅助诊疗

随着人工智能技术的快速发展，智能医学影像分析取得了大量突破性成果［1‑3］。然而，研究人员目前仍然将算法作为研究重点，而忽略了医学专业知识的重要性。与自然图像分析不同，医学影像数据分布更为复杂，基于传统数据驱动的医学影像算法无法准确实现可解释性分析。而在真实临床实践中，医师根据已有经验及相关知识理论即可对医学图像做出相应诊断。由此，笔者提出构建一个融合医师智慧与计算智能的平行互动框架来实现人机交互优化的诊疗系统。进一步而言，基于兰德相关军事理论［4］及平行系统方法［5‑8］，将计算机系统分析的技术表现与临床医师的知识表现独立分析，并对医师的认知思维进行建模、分析与评估，从而优化计算机诊疗系统，使其尽量接近医学专家诊断水平。同时，利用计算机反馈输出与医师交互优化，从而实现平行闭环优化。

一、基本概念

1. ACP方法：ACP理论是为解决复杂系统建模与调控问题而提出的一种复杂性科学方法体系［5］。这一体系的核心手 段 包 含 了 人 工 社 会（artificial societies）、计 算 实 验（computational experiments）、平行执行（parallel execution） 3个部分，其核心是利用大规模计算模拟、预测并引导复杂系统，通过整合实际社会与人工社会，利用虚实互动的计算实验与平行执行实现复杂系统的分析、控制与管理［5，7，9］。基于 ACP 的平行智能受到学者广泛关注，并被广泛应用于社会计算、交通管理和控制、乙烯生产管理、无人驾驶等领域中［7，9‑11］。

 2. 平行视觉与平行图像：在平行系统理论基础上，ACP理论被引入智能视觉计算领域［12‑14］，形成一种新的视觉计算框架，其核心是利用计算机程序模拟的人工场景来模拟真实复杂场景，通过计算实验完成视觉模型的训练与评估，最后借助平行执行来实现在线优化视觉系统，并对复杂环境进行有效感知与理解。在此基础上，王坤峰等［15］进一步提出平行图像基本框架来为平行视觉系统提供图像数据，其核心是软件定义的人工图像系统，该系统从真实物理世界的实际场景中获取特定图像“小数据”，并统计计算数据分布，生成大量人工图像数据，为视觉模型的学习与评估提供大规模有效训练数据。

 3. 平行学习：平行学习是清华大学李力等［16］在 ACP 理论基础上提出的一种新型机器学习框架，其包含了描述学习（descriptive learning）、预测学习（predictive learning）、指示学习（prescriptive learning）3个互相耦合关联的阶段。平行学习首先在数据学习阶段从原始数据中选择特定的“小数据”，通过软件定义的人工系统生成大量新的数据，并与原始小数据构成“大数据”，为机器学习模型更新优化提供支撑。在产生具体决策和预测行为的行动学习阶段，通过预测学习、引导指示学习得到具体“小知识”，并用于平行控制与决策，其中“小知识”是指在行动学习的过程中，在具体任务和学习目标中学到的专门知识。平行学习将数据、知 识、行动整合于一个可闭环优化的系统中，从而解决数据收集、策略选择的问题。

4. 社会物理信息系统：在过去的20年中，信息物理系统（cyber‑physical systems，CPS）受到了越来越多的关注，而社会物理信息系统（cyber‑physical‑social systems，CPSS）将额外的虚拟空间的人工系统信息与社会信息整合到 CPS 中，从而更有效地实现信息物理系统的设计和操作［17］，在社会计算［18］和智能医学［1，19］领域都取得了一定的成果。这种整合还具有与卡尔·波普尔（Karl Popper）的现实理论相一致的哲学含义，该理论指出，3个相互作用的世界共存于我们的宇宙中：物理世界、精神世界和人工世界。这3个世界分别通过物理空间和信息空间耦合，从而衍生出了 CPSS。信息通信技术的飞速发展使我们能够对人工世界进行更多地探索和利用，从而设计并优化物质和精神世界。 

二、基于平行智能的医学应用

基于平行智能虚实交互的特点，Wang 和 Wong［10］于2013年就提出将平行智能引入医学领域，构建平行医学的设想。医学研究具有多维复杂性，包括空间复杂性和时间复杂性来构成复杂系统。从空间复杂性上来说，人体器官、组织细胞、蛋白、基因等不同尺度的结构，产生的大数据是无法估量的；从时间复杂性上来说，每个人从出生到死亡，通过与外部环境的行为交互，产生的医学大数据也难以估计。如果我们想精准认知疾病，就必须把相关的空间数据和时间数据都获取到，这是目前的医学数据获取和分析能力远远无法达到的，故现阶段医学研究只能选择简化可控的局部维度开展。基于平行智能方法以及 CPSS，我们提出平行诊疗框架，如图1所示。与实际诊疗过程对应，构建由计算机主要参与的软件定义的虚拟诊疗方法，对应于CPSS中的人工世界，通过平行执行实现专家知识融合及交互优化，将人工系统信息与物理世界信息融合起来，优化实际的诊疗过程。单从影像组学研究这个局部维度来说，医学影像的每个像素都包含了人体的信息，而每个患者的医学影像包含上千万个像素，可以提取数万个影像特征，是典型的临床大数据。利用影像大数据，从空间维度上，可以关联宏观影像与微观基因蛋白，利用人工智能辅助临床精准诊断；从时间维度上，可以关联治疗与预后，整合医学领域知识，利用平行智能辅助临床精准治疗。

图1 平行诊疗框架

平行医学已经得到一定程度上的应用。孟祥冰等［20］提出 将 ACP 理 论 引 入 定 位 和 地 图 构 建（simultaneou slocalization and mapping，SLAM）算法中，这一算法希望机器人能从未知环境的未知地点出发，在运动的过程中通过重复观测到的地图特征定位自身的位置和姿态，再进行增量式的地图构建。在大数据的驱动下，结合计算机视觉、计算机图形学、机器学习等技术，利用人工场景、计算实验、平行执行的理论和方法，建立复杂环境下视觉感知与理解的理论和方法体系，从而解决现存 SLAM 算法对适用环境的局限性问题，同时建立从底层视觉算法到包括增强现实、路径规划等应用在内的全新理论，并将其应用于医师诊疗过程中，如图2所示。王飞跃等［21］提出平行手术方法，进一步推广应用于医疗手术，采用人工场景模拟医师和患者情况，表征真实复杂的手术场景。在此基础上，采用计算实验的方法试验和评估手术方案，选择最佳方案。最后通过虚实互动的平行执行功能在线优化手术方案，实时地对手术进行智能预测与引导，利用可视化模式增强显示肾脏手术过程中肿瘤显像效果［20‑21］。此外，为解决痛风患者的精准治疗决策难题，突破不同医疗机构医师业务水平参差不齐的局限，文献［22］基于 ACP 理论提出平行痛风诊疗框架——平行高特。其通过社会系统与物理系统、信息系统之间的交互优化，如图 3 所示，使用计算机信息系统、大数据挖掘技术，建立医疗知识库、智能病历库、专家诊疗规则库等构建平行痛风诊疗系统。该系统已开发完成，并在青岛大学附属医院痛风门诊诊疗中应用，得到医师和患者的广泛认可。文献［23‑24］提出基于视觉的皮肤病分析方法，利用软件定义的人工图像系统实现有效数据扩充，通过预测学习的计算实验完成诊断分析模型构建与评估，并利用描述学习与指示学习融合专家知识，引导人工图像系统数据生成与选择，从而实现闭环诊断分析模型优化及疾病的可解释性分析。

图2 以医学诊疗场景为例，构建基于ACP的平行感知系统

图3 社会物理信息系统（CPSS）及平行痛风治疗系统

三、平行医学图像的基本框架与流程

随着影像设备技术的快速发展以及临床广泛普及，影像数据量呈爆发式增长。但由于医学伦理以及患者隐私保护，医疗影像数据难以被本机构外的其他研究人员获取。同时，医学影像数据需要影像医学专家标注，基于机器学习、深度学习的传统方法难以实现可解释性分析。因此，与传统自然图像理解与分析不同，医学影像分析具有数据量大、难以获取、难以标注、缺乏可解释性的特性。为解决上述难点问题，在平行医学影像分析框架［25］及上述平行诊疗框架基础上，我们进一步提出一种完整的医学影像分析框架—平行医学图像，该框架将平行数据、平行学习、专业知识整合于统一系统中，从而为实现小样本医疗影像数据的可解释性分析提供一种新的解决方法。从影像学角度而言，影像组学主要将医学影像以高通量方式转换为可挖掘的数据［26‑27］。其主要是设计自动化算法从影像中提取大量特征信息，并进一步采用多样化的统计分析与数据挖掘方法来剥离出真正起作用的关键信息并提取医学知识，最终实现疾病的辅助诊断［28］。

具体框架与流程如图 4 所示，在平行数据相关理论及框架基础上我们提出构建人工图像系统［29］，实现基于原始医学图像“小数据”的有效增广扩充，得到生成的大规模仿真图像数据，最后融合真实数据与生成仿真数据构建医学影像“大数据”。然后在上述数据中开展计算实验，实现医学知识的提取并完成辅助诊断及治疗。与传统数据到知识提取的实现方法不同，本文提出基于平行学习理论的闭环优化［8，16］，通过预测、描述、引导智能方法实现数据到知识的自动提取，由知识到数据的优化选择与生成，完成医学影像数据与医学领域知识的双向闭环优化。

图4 平行医学图像框架

 1. 描述智能：描述学习旨在构建模型并对预测的结果进行描述解释［30］。描述智能是利用机器学习技术自动获取每一个原始医学图像和生成医学图像的向量化的数据描述，其目的是构建模型并对预测结果进行描述解释［9］。传统的人工定义的距离或特征表示通常是医疗数据无关的，不能充分利用现有医疗图像数据集的特点。描述智能是通过利用训练数据来学习得到向量表示，这可以克服人工方法的局限性。描述智能通常可分为两大类，无监督和监督描述智能。本文中，我们提出基于描述学习在人工图像系统中得到已有数据的分布模型，该模型可以有效表征已有数据分布。在监督学习中，被标记过的数据被当作数据的描述用来学习。在无监督学习中，未被标记过的数据被当作数据的描述用来学习［20］。

医学图像分析最初主要采用边缘检测、纹理特征、形态学滤波以及构建形状模型和模板匹配等方法。这类分析方法通常针对特定任务而设计，被称为手工定制式设计方法。而描述智能是以数据驱动方式分析任务，能自动地从特定问题的大规模数据集中学习相关模型特征和数据特性。与针对特定问题而显式地手工设计模型不同，描述智能方法可直接从数据样本中隐式地自动学习医学图像特征，其学习过程本质上是一个优化问题的求解过程。通过学习，模型从训练数据中选择正确的特征，使其在测试新数据时做出正确决策。因此，描述智能在医 学 图 像 分 析 中 起 着 至 关 重 要 的作用［15，22，25，31］。

描述智能的关键思想是设计人工医疗图像系统，对原始医疗图像分布进行建模，基于现实世界中的观察来进行感知和推理。描述智能过程允许以半监督或无监督的方式从未标记数据中学习特征。用于图像生成的生成对抗网络的对抗性学习可以被视为一种特殊情况，其目标是最小化真实和生成图像的分布差异［32］。相 关 的 描 述 智 能 技 术 有 很 多 ：迁 移 学 习（transfer learning ［33］、多任务学习（multitask learning）［31，34］、领域适应性（domain adaptation）［31］。这些技术具有很强的描述数据的能力，它可以有效抽取多个子任务之间共享的因素、知识或特征。

2. 预测智能：预测智能通过深度学习或者机器学习的相关技术自动对医学影像进行预测性分析，辅助医师诊断。预测智能可以利用专业医学专家标注的和生成的医学影像数据学习得到从原始图像到预测目标鲁棒的映射关系，是一种数据驱动的从大数据到小智能的知识提取过程［7，22，29］。如在传统的疾病诊断过程中，放射科医师基于先验知识将影像图像数据通过视觉分析做出相应诊断，这需要每天在大量的图像中找到有效的特征来支持诊断，这种重复劳动大大降低医师的工作效率，是对医疗资源的一种浪费［25］。平行医学图像可以通过预测智能的计算实验尝试对患者的超声、X 线以及其他基于影像的医学描述进行分析和有效的诊断辅助。

目前，已经有许多的技术可以实现医学影像的预测智能分析，尤其是深度学习的相关技术，在一些特定的医学影像分析领域已经取得了不错的预测精度。这些技术运用在医学影像病灶的检测、分割和分类中［1，35‑43］，预测智能可以在医师的临床诊断中发挥重要的作用。 

3.引导智能：一般复杂系统可分为牛顿和默顿系统，牛顿系统运行结果不受系统分析的影响，而默顿系统存在双向影响通路，可以预设期望状态，通过对系统的描述、预测与引导来设定系统达到目标状态［16］。美国社会学家默顿提出的默顿定律希望通过改变行动的模式，即实际系统与人工系统的平行互动来实现实际系统的预设目标［16，44］。对于医学影像框架而言，我们希望软件定义的人工系统产生我们期望的与真实数据分布一致的数据。由此，我们提出通过人工系统的描述、预测与引导来实现。在平行医学图像分析中，引导智能是融合医学专家领域知识来实现数据有效生成与分析的关键。

本文中，引导智能根据期望目标，通过机器或者人类从已有数据中学得的医学知识来指示人工图像系统的数据筛选与生成，从而实现医学影像数据的有效扩充及知识的有效蒸馏。该方法整合了医师专家知识，构建了人在回路的闭环优化系统，为医学影像的可解释性分析提供一种新的解决方法。具体地，基于平行理论［5］，在先验知识驱动下，我们可以生成特定的良恶性影像来有监督地扩充数据。比如，基于乳腺X线平片表现为毛刺、不规则形状肿块的病灶较大概率为恶性的医学知识，我们可以设定人工图像系统按照特定形状分布生成恶性肿块数据［25，45］。通过描述、引导学习特定病种皮肤病数据的分布来生成对应域的仿真图像实现数据扩充，从而提高预测模型的鲁棒性及有效性等［23］。

 4.实例应用：将医学图像视为数据，实际诊疗对应于决策分析，本文提出的平行医学图像框架为医学影像分析提供了一个有效的解决方案。以基于X‑ray乳腺钼靶图的乳腺癌诊断为例［37］，在开源数据集INbreast上基于平行学习生成的仿真乳腺钼靶肿块图像如图5所示，其中第一行是乳腺钼靶图的像素级标签，第二行是与标签对应的乳腺钼靶真实肿块图像，第三行是通过将像素级标签输入到生成对抗式网络得到的虚拟肿块图像。可以看出，生成的肿块图像与输入标签具有相似的形状特征，同时与真实的肿块图像具有相似的纹理特征［37］。基于生成对抗网络方法，即通过描述智能方法在软件定义的人工图像系统中生成大量服从特定分布的仿真数据，同时通过引导智能来融合利用先验知识实现数据增强，例如可以通过恶性肿块病灶边缘多为不规则分布的先验知识来生成不规则的边界，从而进一步由不规则边界引导生成对应肿块图像作为恶性训练样本［25］。

图5 基于平行学习生成的仿真乳腺钼靶肿块影像

本实例中，基于预测智能方法，我们通过设计基于U‑net的分割网络来实现有效的乳腺钼靶图肿块分割验证，整体流程如图6所示。我们在开源数据集 INbreast上进行测试［37］，通过三折交叉验证，在原始数据上利用传统方法的边缘分割曲线下面积为 93.3%，而通过平行智能方法提高至 95.7%。实验证明通过有效描述、引导、预测智能，可以提取到更加精确的知识，比如边界是否清晰、形状是否规则、大小、边缘征像等，帮助医师进行更加准确的诊断和分析［37］。 

图6 基于ACP的平行医学图像方法实现乳腺钼靶肿块分割实例

四、开源平台的设计与实施

中科院分子影像重点实验室在医疗影像大数据的关键技术上有长期的积累，并逐步搭建了集成化医学影像平台（http：//www.radiomics.net.cn）。目前该平台包含了一套核心算法（The Medical Imaging Interaction Toolkit，MITK）和 3 套与之平行的顶层软件（3DMed、MOSE、Radiomics）。MITK提供了一个整合医学图像重建、分割、配准、可视化等各类医学影像处理与分析算法的C++类库。三维医学图像处理及分析系统（3DMed）为MITK提供人机交互界面，可以融合医师领域知识实现医学图像的有效标注。在设计上，3DMed由一组定义接口的核心模块和众多松散耦合在一起的插件组成，其功能涵盖了数据采集、数据格式转换、面绘制、体绘制、图像分割、图像配准、三维图像处理、三维虚拟切割和三维测量等，也可为用户自定义算法提供交互。MITK/3dMed也被生物医学工程领域主流期刊上的第三方评论文章评为医学图像处理软件全球前十名［46］。光学分子影像仿真软件是基于 MITK 算法库实现的蒙特卡洛算法开发的仿真在体生物自发光光子传播的平台，可以仿真小动物体表面的生物自发光信号。影像组学人工智能辅助诊断软件是一款肿瘤分析预测软件，针对肿瘤的影像和临床信息，通过机器学习等人工智能技术对影像进行病灶分割及特征提取，同时对肿瘤进行智能识别及精准预测。集成化医学平台通过算法与软件两个层面的平行设计，形成了对医学影像数据的平行处理。这些软件及平台为基于ACP方法的平行医学图像智能分析和应用提供了实现基础。

中科院复杂系统管理与控制国家重点实验室建立了开源 的 平 行 视 觉 研 究 平 台 OpenPV（Open Source ParallelVision Platform，http：//openpv.cn），用于推动平行视觉研究，构建更健壮的智能视觉系统。目前 OpenPV 已经在智能交通场景下构建了ParallelEye虚拟图像集，包含了7个子数据集，共 40251 张图像以及 6 种标注信息。其中子数据集 1~ 3 提供了 3 类交通目标（car、bus、truck）的包围框信息，可以用于目标检测研究。子数据集 4~7 包含更多的目标类型，并给出了更丰富的标注信息，包括感兴趣目标的包围框、像素级语义/实例、深度等，能够支持目标检测与跟踪、语义/实例分割、深度估计等多种视觉计算任务。每个子数据集对应一个人工场景，同一个子数据集中又包含多段视频，对应着该人工场景在不同光照和天气条件下收集的图像数据。在构建 ParallelEye 的过程中，团队力求模拟复杂的交通场景，从多方面提高数据集的多样性。第一，摄像机拍摄角度的多样性。在收集图像的过程中，控制场景中的虚拟摄像机进行升降旋转，来获得人工场景在不同观察视角下的成像效果。第二，目标外观和姿态的多样性。通过目标摆放位置的不同来创造不同的遮挡情况，同时利用脚本改变目标模型的部分参数，使其颜色和姿态在每一帧都发生变化。第三，光照和天气条件的多样性。借助天气系统插件来模拟早、中、晚不同时刻的光照条件以及晴、阴、雾、雨等多种复杂天气状况，从而得到尽可能逼近真实场景的数据。未 来，我们可以构建医疗场景下的数据集，以帮助平行系统发挥优势。

五、总结与展望

本文提出了一个全新的平行医学图像框架，为医师认知建模、数据驱动的影像分析提供了统一的方法。本文认为将医师实际诊断的表现与计算机算法识别的表现独立分析，然后基于平行智能方法完成交互优化，具体通过预测、描述、引导智能实现医师专业知识与传统数据驱动的影像分析方法有效融合，提高医疗影像分析的可解释性。X 线乳腺肿块相关分析实验验证了算法有效性。本文还简要介绍了中科院自动化研究所复杂系统管理与控制国家重点实验室的开源平台设计与实施情况。未来我们将集中构建大规模平行医学图像分析系统，细化各个模块功能，应用于临床医学影像分析，为影像组学分析提供更为有效且具有可解释性的智能分析方法。

利益冲突：所有作者均声明不存在利益冲突

志谢：中国医学科学院 北京协和医学院 北京协和医院放射科雷晶和孙昊医师对本文文字部分的补充和完善，给予专业指导。