非酒精性脂肪肝病(NAFLD)是慢性肝病最常见的病因，如果能够准确预测，可以防止其发展为严重肝纤维化和肝硬化。虽然肝活检是诊断NAFLD的金标准，但其具有侵入性、成本高昂且易出现采样误差。无创研究极具前景，但由于缺乏全面的研究数据和成熟的多模态数据方法，目前仍处于起步阶段。来自中国科学院自动化研究所、山东大学、北京中医药大学和上海交通大学的研究者们联合提出了一种通过整合综合性临床数据集与基于多模态学习的预测方法来诊断NAFLD的新策略。该数据集包含了大量参与者(总计超过6000名)的体格检查、实验室与影像学研究、详细问卷以及面部照片。这种全面的数据收集对于临床研究具有重要价值。本文研究者对数据集进行了定量分析，以确定哪些临床元数据(如元数据和面部图像)对NAFLD的预测影响最大。此外，文章提出了一种基于多模态学习的预测方法(DeepFLD)，它整合了多种模态的数据，并展现出优于仅依赖元数据方法的性能。同时，通过使用其他未见过的数据对结果进行验证，评估了其令人满意的性能。令人欣喜的是，本文所提出的DeepFLD预测方法仅利用面部图像作为输入（而不依赖元数据）即可获得有竞争力的结果，这为开发更稳健、更简便的无创NAFLD诊断铺平了道路。

图片来自Springer

全文下载：

Multimodal Learning-based Prediction for Nonalcoholic Fatty Liver Disease

Yaran Chen, Xueyu Chen, Yu Han, Haoran Li, Dongbin Zhao, Jingzhong Li, Xu Wang & Yong Zhou

https://link.springer.com/article/10.1007/s11633-024-1506-4

https://www.mi-research.net/article/doi/10.1007/s11633-024-1506-4

慢性肝病是全球范围内导致发病和死亡的常见疾病，每年全球有超过200万例死亡与肝脏相关疾病有关。非酒精性脂肪肝病(NAFLD)，也称为代谢相关脂肪性肝病，是最常见的慢性疾病之一，也是肥胖的代谢并发症。随着肥胖率的迅速增长，NAFLD的全球患病率不断上升，从普通人群中的约30%到病态肥胖人群中的约80%不等。NAFLD涵盖从单纯性脂肪肝到非酒精性脂肪性肝炎(NASH)的一系列肝脏异常，预计到2030年将成为肝移植最常见的适应症。NAFLD的特征是过度的脂肪堆积，并成为发展出NASH、肝纤维化和肝硬化的主要风险因素。早期诊断和治疗对于减少相关并发症和死亡率至关重要。

几个世纪以来，临床医生已采用多种技术来检测NAFLD，其中肝活检被视为金标准，但它被认为具有侵入性且成本高昂。一些放射学技术和超声检查是肝活检的有效替代方案，但由于仪器和检测成本高昂，它们在偏远地区的可及性有限。因此，无创且廉价的NAFLD诊断技术极具前景。

在以往的研究中，已有几种检测NAFLD的替代方法。有研究者使用机器学习模型根据人血清和粪便对NAFLD进行分类。此外，纤维化-4指数(FIB-4)、NAFLD纤维化评分(NFS)和颈围也被研究用于NAFLD的诊断。然而，上述大多数方法仅集中于单一因素，这可能是由于缺乏全面的数据支持所致。从多角度综合考虑NAFLD的预测可能更为有效。

为了从多角度预测NAFLD，本文打算创建一个综合性的临床数据库，包括问卷、体格检查、实验室测试和影像学检查(如常规血液检查、尿液分析等)。实际上，面部图像是了解内脏器官功能的一个便捷窗口。面部图像在中医和西医临床领域已被用作重要的诊断工具。目前，研究已证明人类面部特征可以反映发育综合征、生物学年龄和器官老化程度。许多研究充分证明了面部图像在疾病诊断中的辅助价值，可以轻松方便地帮助临床医生进行疾病判断，尤其是在中医领域。最近，深度卷积神经网络(CNN)作为计算机视觉中最有效的网络之一，已被广泛用于基于图像的疾病诊断，例如心脏病和小肠疾病。基于CNN的深度学习算法在疾病分类方面已达到接近人类水平的性能，甚至在人类无法观察到的细微之处超越了人类。因此，能够快速、无创且免费获取的面部图像，可能成为NAFLD筛查和预测的潜在且重要的信息源。本研究旨在构建包含面部图像、体格检查等的综合性临床数据。而此前尚无研究探讨过面部图像与NAFLD之间的关联。

本文开发了一个NAFLD诊断系统，利用多模态输入(包括面部图像和元数据)来区分NAFLD。首先，研究者们通过收集志愿者的体格测试、实验室与影像学研究、问卷和面部图像，编制了一个综合性医学数据集FLDData。接着，他们采用一种协作方法，利用基于联合指标的数据分析，来定量检查和识别医学数据集中与NAFLD最相关的临床元数据。基于选定的数据，他们提出了一种基于多模态的NAFLD预测方法DeepFLD，它同时整合了面部图像和元数据。由于NAFLD的复杂性，很难直接从面部图像中提取有效特征。在DeepFLD中，设计了一个基于医学约束的辅助任务来提取有效的图像特征。与仅考虑皮尔逊相关系数选择的指标相比，研究者们所选择的指标能提高NAFLD的分类准确率。所提出的具有多模态输入的DeepFLD模型，展现出优于仅依赖元数据作为输入的模型的性能。DeepFLD模型在应用于先前未见过的数据时表现出令人满意的性能。它仅使用面部图像作为输入（而非元数据）即可获得有竞争力的结果。

 用于预测NAFLD的AI系统DeepFLDDiag

总之，本文的主要贡献如下：

1) 通过汇总面部图像、体格检查数据、实验室测试数据、影像学信息和问卷，构建了一个综合性的人体临床数据集。研究者们采用了一种基于联合指标的数据分析方法来定量检查与NAFLD相关的关键医学指标。

2) 研究者们提出了一种具有多模态输入和医学约束的NAFLD预测方法DeepFLD，它有助于从高维面部图像中提取有效特征。作为首个将面部图像引入NAFLD预测的研究，具有多模态输入的DeepFLD性能优于其他仅以元数据作为输入的方法，并在其他未见过的数据集上验证了其令人满意的性能。此外，与元数据相比，DeepFLD仅使用面部图像作为输入即可获得有竞争力的结果，为更稳健、更简便的无创NAFLD诊断提供了一种可行的方法。

3) 研究者通过对NAFLD患者的面部特征进行分析，以探讨NAFLD预测结果的依据。其中，肤色较深及黄褐斑的出现，与先前医学研究的发现相符。

本文的其余部分组织如下：第2节回顾了相关工作；第3节介绍了预测系统，包括收集的数据集和预测模型；第4节展示了研究者们从收集的数据集进行的实验和结果，以及对生活方式的分析。最后，第5节对研究进行了总结。

本文作者

全文下载：

Multimodal Learning-based Prediction for Nonalcoholic Fatty Liver Disease

Yaran Chen, Xueyu Chen, Yu Han, Haoran Li, Dongbin Zhao, Jingzhong Li, Xu Wang & Yong Zhou

https://link.springer.com/article/10.1007/s11633-024-1506-4

https://www.mi-research.net/article/doi/10.1007/s11633-024-1506-4

BibTex:

@Article {MIR-2023-09-179, 

author={Yaran Chen, Xueyu Chen, Yu Han, Haoran Li, Dongbin Zhao, Jingzhong Li, Xu Wang, Yong Zhou}, 

journal={Machine Intelligence Research}, 

title={Multimodal Learning-based Prediction for Nonalcoholic Fatty Liver Disease}, 

year={2025}, 

volume={22}, 

issue={5}, 

pages={871-887}, 

doi={10.1007/s11633-024-1506-4} }

特别感谢本文第一作者陈亚冉副研究员对以上内容的审阅和修改！

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等20余家国际数据库收录，入选图像图形领域期刊分级目录-T2级知名期刊。2022年首个CiteScore分值在计算机科学、工程、数学三大领域的八个子方向排名均跻身Q1区，最佳排名挺进Top 4%，2023年CiteScore分值继续跻身Q1区。2024年获得首个影响因子(IF) 6.4，位列人工智能及自动化&控制系统两个领域JCR Q1区；2025年发布的最新影响因子达8.7，继续跻身JCR Q1区，最佳排名进入全球第6名；2025年一举进入中国科学院期刊分区表计算机科学二区。