肺癌术后并发症的多模态融合预测

许云志^1,2，焦鹏^3,4，田文鑫^3,4，付立军^1,5,6，菅端⁶

（1. 中国科学院 沈阳计算技术研究所，沈阳 110168；2. 中国科学院大学，北京 100049；3. 北京医院胸外科；国家老年医学中心，北京 100730；4. 中国医学科学院 老年医学研究所，北京 100730；5. 山东大学 大数据与人工智能技术实验室，济南 250100；6. 中科智合数字科技（北京）有限公司，北京 101499）

摘要：准确预测肺癌患者术后并发症，对于临床治疗方案的制定具有关键意义。生理指标、医学影像数据等多模态医疗数据具备互补特性，可有效提升预测精度。传统多模态数据利用方法存在明显局限，而先进多模态大模型的应用为该研究方向提供了极具潜力的解决路径。本文提出一种集成框架，通过图像嵌入模型（视觉 Transformer 与多层感知机）从医学影像中提取特征块并完成定位，再结合贝叶斯图嵌入模型生成的文本特征进行补充完善。该方法将上述特征输入大语言模型（LLM）进行训练，最终实现多模态特征的统一表征。此外，通过将融合后的特征导入大语言模型，自动化构建图文数据处理流程，以促进多模态信息的深度交互与高效融合。最后，所提方案采用多层感知机与 softmax 输出层完成术后并发症的预测任务，同时保留基础模型的聊天机器人功能，可提供专业医疗咨询服务。消融实验结果表明：相较于单模态方法，多模态融合策略显著提升了术后并发症预测的准确性，充分彰显了该方案的应用价值与潜力。

关键词：术后并发症，肺癌，多模态数据，图像嵌入模型，特征融合

扫二维码浏览全文

Cite this article

Xu, Y., Jiao, P., Tian, W. et al. Postoperative Complications Prediction of Lung Cancer Multimodal Fusion. J. Shanghai Jiaotong Univ. (Sci.) (2025). https://doi.org/10.1007/s12204-025-2894-5