引用本文

檀彦超, 沈春旭, 陈佳敏, 马国芳, 林政鸿, 王石平, 易玲玲. 非完备模态下的可靠多媒体推荐方法. 自动化学报, 2026, 52(4): 805−820 doi: 10.16383/j.aas.c240659

Tan Yan-Chao, Shen Chun-Xu, Chen Jia-Min, Ma Guo-Fang, Lin Zheng-Hong, Wang Shi-Ping, Yi Ling-Ling. Reliable multimedia recommendation method with incomplete modality data. Acta Automatica Sinica, 2026, 52(4): 805−820 doi: 10.16383/j.aas.c240659

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240659

关键词

推荐系统，超图生成，稀疏优化，图卷积网络，非完备多媒体推荐

摘要

随着多模态内容的快速增长, 多媒体推荐系统在数据挖掘中发挥着重要作用. 然而, 现有方法通常假设项目具有完备的多模态信息, 难以适应真实场景中的模态缺失问题. 针对这一挑战, 提出一种融合稀疏超图与模态特定二分图的非完备多媒体推荐框架(S2GRec). 该框架通过基于稀疏超图的自适应模态补全机制, 捕获模态内高阶相似性, 实现无监督的缺失模态补全, 并进一步利用模态特定二分图建模用户在不同模态视角下的偏好, 以提升推荐性能. 在多个公开数据集及大规模工业数据集上的实验结果表明, S2GRec在召回率、准确率和NDCG等指标上较现有方法平均提升4.42%, 验证了其在非完备多媒体推荐任务中的有效性.

文章导读

近年来, 随着抖音、快手等多媒体共享平台用户数量和内容的爆发式增长, 如何帮助用户快速精确地找到他们感兴趣的内容变得比以往更具有挑战性[1]. 针对这一信息过载问题, 多媒体推荐系统[2−3]应运而生, 该系统通过分析用户在多媒体平台上的历史交互信息(如点击、收藏等)和项目的多模态特征(如图片、文本、音频等), 向用户推荐符合个人偏好的多媒体项目, 提升用户在多媒体平台上的综合体验感[4]. 传统的多媒体推荐算法通过多模态数据来增强有关用户和项目的特征, 从而体现用户在多模态特征下的偏好. 例如, 一个用户可能会因为喜欢项目的视觉图案或者赞同其他用户的文本评价而购买某件衣服; 另一个用户可能因为非常喜欢最近爆火的某段背景音乐, 而给使用这段背景音乐的视频点赞. 随着图神经网络(graph neural network, GNN)[5−6]的崛起, 许多研究利用GNN将多模态特征集成到用户−项目二分图中[7−8], 通过消息传递模式的各种方法来细化用户和项目的多模态表征.

尽管现有的多媒体推荐系统研究已取得显著成效, 但它们通常基于一个假设: 每个项目的多模态数据都是完整的, 且模态始终可用[9−10]. 在实际情况中, 由于人为因素、设备故障等各种原因, 多媒体平台上的很多项目都存在模态缺失的现象[11]. 如图 1(a)所示, 项目1是用户分享的美食课堂, 只包含音频描述和对应的文本信息; 项目2是用户录制的 《美食总动员》 电影, 但是由于视频录制时背景噪声过大, 声音信息无法有效提取. 这些项目的多模态特征缺失增加了多媒体推荐系统的复杂性. 面对这种非完备模态的现象, 传统多媒体推荐研究主要采取剔除模态缺失的项目以对齐数据训练的策略[12]. 然而, 这种数据预处理方法会导致部分项目间模态的关联性信息遗失[13]. 例如, 在图 1(a)中, 某个用户1喜欢视觉模态缺失的美食语音课堂项目1, 和音频模态缺失的美食寻味项目2, 那么他可能也会喜欢项目4 (一个美食博主探店的项目). 在本就面临数据稀疏性问题的多媒体推荐场景中, 移除缺失模态的项目会加剧数据稀疏性, 并且对多媒体推荐系统的性能产生负面影响.

图1  非完备多媒体推荐示意图

本文的主要贡献包括3个方面:

1)针对多媒体推荐中的模态非完备性问题, 创新性地将稀疏约束引入超图结构中. 通过去除不相关的模态信息, 避免关系建模因过于密集而失去可靠性, 进而在没有额外监督的情况下获得高置信度的完备模态知识.

2)提出融合稀疏超图与模态特定二分图的非完备多媒体推荐框架(S2GRec). 该框架包含可靠缺失模态补全和自适应细粒度模态级别的用户偏好建模. 在没有额外监督的情况下, 利用对比学习捕获跨模态交互依赖性, 提升非完备模态缺失场景中的多媒体推荐性能.

3)在四个真实公开数据集(Amazon-Sports、Amazon-Baby、Allrecipes和TikTok数据集)上进行的大量实验结果表明, S2GRec框架相较于其他主流多媒体推荐模型有更优的推荐表现.

图2  所提S2GRec的整体框架

图3  不同缺失率下的S2GRec与其他方法在Amazon-Baby和Amazon-Sports数据集上的Recall@20性能比较

本文针对现实多媒体平台中的模态缺失场景, 研究非完备模态下的可靠多媒体推荐方法, 提出了一种稀疏超图与模态特定二分图融合的非完备多媒体推荐框架, 即S2GRec. 该框架由基于稀疏超图的自适应模态补全机制和基于模态特定二分图的推荐模块组成, 能够在缺失场景中泛化推荐性能. 在基于稀疏超图的自适应模态补全机制中, 通过稀疏最优传输构建的超图捕获模态之间的高阶相似性, 在无监督情况下获得可靠的补全模态. 在基于模态特定二分图的推荐方法中, 本文的模型可以充分融合多模态表征下的协同信号, 以执行多媒体推荐任务. 在真实世界数据集上的大量实验表明, 本文提出的S2GRec框架能够取得优异的泛化性能.

作者简介

檀彦超

福州大学计算机与大数据学院副教授. 2022年获得浙江大学博士学位. 主要研究方向为数据挖掘, 推荐系统和医疗保健. E-mail: yctan@zju.edu.cn

沈春旭

腾讯科技有限公司资深算法研究员. 主要研究方向为多模态语言模型, 深度强化学习与信息检索. E-mail: lineshen@tencent.com

陈佳敏

福州大学计算机与大数据学院硕士研究生. 2020年获得福州大学学士学位. 主要研究方向为推荐系统和多模态学习. E-mail: Jiamin020316@163.com

马国芳

浙江工商大学计算机科学与技术学院讲师. 2021年获得浙江大学博士学位. 主要研究方向为推荐系统和金融科技. 本文通信作者. E-mail: maguofang@zjgsu.edu.cn

林政鸿

福州大学计算机与大数据学院博士研究生. 2019年获得福建农林大学学士学位. 主要研究方向为推荐系统, 多模态学习, 大语言模型. E-mail: hongzhenglin970323@gmail.com

王石平

福州大学计算机与大数据学院教授. 2014年获得电子科技大学博士学位. 主要研究方向为机器学习, 计算机视觉与粒计算. E-mail: shipingwangphd@163.com

易玲玲

腾讯科技有限公司资深技术专家. 主要研究方向为多模态语言模型, 大规模异构图与个性化推荐算法. E-mail: chrisyi@tencent.com

支持单位：