医学人工智能(AI)能识别视网膜图像中所蕴藏的健康迹象，并因此在推进眼科疾病和系统疾病的诊断上具有巨大潜力[1]。然而，开发高性能AI模型通常需要大量高质量的标签，医学专家的标注容量已经无法满足呈指数级上涨的模型开发需求，导致大量医疗数据未被标注且充分利用。自监督学习可以通过“预文本任务”(pretext task)直接从数据中获取监督信号，而不是依靠专家知识来获得标签[2,3]，从而减轻数据低效性。通过自监督学习，AI模型可以获得强大的表征学习能力(representation learning), 并在下游任务中提高微调的性能，例如诊断糖尿病黄斑水肿[4]。然而，由于大规模结构化临床数据和多元信息的稀缺，泛化性AI模型的开发和多样的任务验证一直缺失。

基础模型(foundation model)定义为在大规模未标注数据上进行自监督训练从而适应于各种下游任务的大型AI模型[5,6]。在这项工作中，研究人员通过自监督训练，在大规模未标注的视网膜图像上构建基础模型RETFound，并用它来促进多种疾病的检测。具体而言，该研究使用自监督技术Mask Autoencoder (Kaiming He et al.[7])依次在自然图像(ImageNet-1k)和160万的视网膜图像上进行训练，从而开发了两个的RETFound模型，一个用于彩色眼底摄影(colour fundus photograph)，另一个用于光学相干断层扫描(OCT)。研究人员通过微调RETFound来适应一系列具有挑战性的疾病检测和预测任务。

在验证中，研究人员首先研究了眼部疾病的诊断分类，包括糖尿病视网膜病变和青光眼。研究人员在8个眼科公开数据集进行实验并观察到了性能的显著提升。为了研究更加广泛的应用，研究人员使用AlzEye数据集构建了眼科疾病预后任务(在老年黄斑病变人群中，预测未治疗眼(fellow eye)在一年内转化为新生血管性老年黄斑病变(wet AMD)的概率)和“oculomic”(利用视网膜图像观测系统疾病，包括缺血性中风，心肌梗塞，心衰，和帕金森病)。为了验证模型在不同数据集上的泛化性，研究人员使用UK Biobank作为外部测试集。RETFound在内部和外部验证上都显示了最佳性能。

与传统的迁移学习预训练模型和其他自监督模型相比，RETFound在适应下游任务时表现出一致的优秀性能和标签效率，例如在心梗和心衰预测上，RETFound只需要10%的标注数据就可以达到对比方法的最佳性能。研究人员还通过可视化分析和变量控制实验探讨了RETFound的疾病检测性能的解释。研究人员同时展示了RETFound在不同人群种族的一致性，为全球范围内的应用提供支撑。

该研究验证了RETFound在适应多种医疗应用中的功效和效率，展示了在检测眼部疾病方面的高性能和泛化能力，以及在预测系统疾病方面的显著改进。通过克服当前临床AI应用的障碍，尤其是标注数据的规模和性能以及泛化能力的限制，基于自监督学习的基础模型为加速、数据高效的设备打开了大门，这些设备可能会改变患有眼部或全身性疾病的患者的护理方式。

相关论文信息：

https://www.nature.com/articles/s41586-023-06555-x

参考文献