IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

基于文本引导的注意力图像转发预测排序网络

已有 1668 次阅读 2021-12-17 16:09 |系统分类:博客资讯

社交媒体转发预测是指:在社交媒体中,通过一个用户过去转发的图像推特行为,预测其之后转发图像推特的共享行为。转发预测的中心问题是对用户转发的推文分享行为进行建模, 用户通过 “被跟随者——跟随者”链接转发推文, 并对社交媒体中出现的所有推文进行排序。


潘文雯, 赵洲, 俞俊, 吴飞. 基于文本引导的注意力图像转发预测排序网络. 自动化学报, 2021, 47(11): 2547−2556

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200629?viewType=HTML


如今, 类似Twitter 的微博服务系统已经成为用户分享媒体内容的重要社交平台, 平台中一项关键机制是转发功能.。在SMS 中, 跟随其他用户的用户被称为 “跟随者”, 被跟随的用户被称为 “被跟随者”。转发预测的核心问题是建立用户沿着 “被跟随者−跟随者”这条推特转发链接的推特共享行为模型。然而,已有的转发预测方法能够从用户过去转发的文本推特中学习用户偏好模型进行预测, 但仅限于文字类型的推特。


随着移动设备的普及, 用户生成图像推特的数量急剧增长, 现今Twitter 中有17.2 % 的推特内容与图像相关。因此, 研究社交媒体网站中的图像转发预测问题具有重要意义。


图1.jpg

图像推特行为示例


要实现文本引导下的图像转发预测,模型必须具备处理社交媒体数据稀疏性的能力。在SMS 网站中, 通过用户对图像推文的转发关系来构建图像推文与用户之间的网络。通常情况下, 每个用户只转发少量的图像推文, 因此社交媒体网络是稀疏的。受同质性假设的启发, 我们可以联合考虑用户关注者和用户被转发推文的集合信息来解决图像转发预测的稀疏性问题。转发行为的社会影响在用户和不同的关注者之间是不同的。因此我们利用注意力机制自适应地融合用户关注者偏好, 共同预测目标用户的图像转发行为。


图2.png

用于图像转发预测的注意多方面排序网络学习纵览


图3.png

文本引导的多模融合网络


图4.png

在图像转发预测任务中的实验结果


如何进行图像转发预测?目前,现有的转发预测方法大多涉及到媒体信息的选择和表征, 包括推特的图像和标题、用户的社会角色和情感。然而,这些模型缺乏探索图像推特与其标题或评论之间关系的能力。图像推特通常与文本上下文信息相关联, 比如用户的评论和标题。背景图像推文信息通常能传达重要信息, 有助于理解推文。我们从多模态注意力排序网络学习的角度研究图像转发预测问题。首先提出一个异构的图像转发模型网络, 该模型利用多模态图像推特、用户的转发行为及其跟踪关系三方面进行图像转发预测。然后,引进由文本引导的两个子网络多模态神经网络, 其中递归神经网络学习图像推特上下文信息的语义表征,卷积神经网络学习视觉表征。我们在多模态神经网络的基础上使用多面注意力排序方法, 使多面排序的度量值隐含在用户偏好表征中来进行图像转发预测。具体的优势可以概括如下:


1) 解决稀疏性问题:利用了用户过去转发的图像推特与相关上下文、用户的跟随关系和用户对后续内容的偏好三方面信息。


2) 探索图像与标题评论之间关系:使用基于文本引导的多模态神经网络的注意力多面排序方法。


3) 预测率高:使用从Twitter 收集的数据集来评估方法性能. 大量实验表明, 方法取得了明显的效果。


目前,关于图像推特的转发预测方法较少。鉴于此,本文结合图像推特转发关系链的固有特点,从数据稀疏性,跨模态预测等问题出发,对图像推特的转发预测进行了深入剖析。在此基础之上,提出了基于文本引导的注意力图像转发预测排序网络,并对其中存在的一些问题进行了深入探讨。


作者简介


潘文雯

浙江大学计算机科学博士研究生. 2018年获得西安交通大学计算机科学与技术学士学位.研究领域包括机器学习和自然语言处理.

E-mail: wenwenpan@zju.edu.cn


赵  洲

浙江大学计算机科学学院副教授. 2010年获中国香港科技大学计算机科学学士学位, 2015年获中国香港科技大学计算机科学博士学位.研究兴趣包括机器学习和数据挖掘. 本文通信作者.

E-mail: zhaozhou@zju.edu.cn


俞  俊

杭州电子科技博士生导师. 2009年获浙江大学计算机应用专业博士学位 2009-2011任新加坡南洋理工大学计算机系博士后, 2011-2014年任厦门大学信息学院副教授. 研究领域包括计算机动画图像处理, 机器学习等.

E-mail: yujun@hdu.edu.cn


吴  飞

浙江大学求是特聘教授, 博士生导师. 1996年获兰州大学计算机科学学士学位,1999年获中国澳门大学计算机科学硕士学位,2002年获浙江大学计算机科学博士学位. 研究领域为人工智能、多媒体分析与检索和统计学习理论. 

E-mail: wufei@cs.zju.edu.cn




https://blog.sciencenet.cn/blog-3291369-1316994.html

上一篇:2021年研究前沿报告最新发布
下一篇:数据和知识驱动的城市污水处理过程多目标优化控制
收藏 IP: 159.226.181.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-23 21:24

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部