引用本文

暴琳, 孙晓燕, 巩敦卫, 张勇. 融合注意力机制的增强受限玻尔兹曼机驱动的交互式分布估计算法. 自动化学报, 2023, 49(10): 2188−2200 doi: 10.16383/j.aas.c200604

Bao Lin, Sun Xiao-Yan, Gong Dun-Wei, Zhang Yong. Enhanced restricted Boltzmann machine-driven interactive estimation of distribution algorithms with attention mechanism. Acta Automatica Sinica, 2023, 49(10): 2188−2200 doi: 10.16383/j.aas.c200604

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200604

关键词

用户生成内容，个性化进化搜索，交互式 ，分布估计算法，受限玻尔兹曼机 

摘要

面向用户生成内容(User generated content, UGC)的进化搜索在大数据及个性化服务领域已引起广泛关注, 其关键在于基于多源异构用户生成内容构建用户认知偏好模型, 进而设计高效的进化搜索机制. 针对此, 提出融合注意力机制(Attention mechanism, AM)的受限玻尔兹曼机(Restricted Boltzmann machine, RBM)偏好认知代理模型构建机制, 并应用于交互式分布估计算法(Interactive estimation of distribution algorithm, IEDA), 设计含用户生成内容的个性化进化搜索策略. 基于用户群体提供的文本评论, 以及搜索物品的类别文本, 构建无监督受限玻尔兹曼机模型提取广义特征; 设计注意力机制, 融合广义特征, 获取对用户认知偏好高度相关特征的集成; 利用该特征再次训练受限玻尔兹曼机, 实现对用户偏好认知代理模型的构建; 根据用户偏好认知代理模型, 给出交互式分布估计算法概率更新模型以及物品适应度评价函数, 实现物品个性化进化搜索. 算法在亚马逊个性化搜索实例的应用验证了用户认知偏好模型的可靠性, 以及个性化进化搜索的有效性.

文章导读

近年来, 随着大数据、云计算等技术的迅猛发展, 信息呈现爆炸式增长, 给用户带来新资讯的同时, 也增加了用户筛选有用信息并最终做出决策的难度. 个性化搜索和推荐算法深度而准确挖掘用户潜在需求和兴趣偏好, 向用户推荐其可能感兴趣且满足用户需求的项目, 进而提供高质量的个性化服务[1-2]. 然而, 互联网技术的发展以及互联网参与人数的激增, 使得各类互联网应用中聚集了大量用户生成内容(User generated content, UGC), 如: 用户评分、商品类别标签、用户文本评论、社交网络信息、地理位置信息、图像或视频等各种各样的复杂数据, 这些信息具有多源异构异质特性. 在个性化搜索过程中充分利用多源异构UGC数据, 势必将在很大程度上提高个性化搜索和推荐的综合性能[3-4]. 其中, 构建精确描述用户个性化偏好的用户兴趣模型是个性化搜索问题的关键. 目前常用的构建用户兴趣模型的方法包括贝叶斯模型[5]、多层感知机[6]、自编码器[7]、受限玻尔兹曼机(Restricted Boltzmann machine, RBM)[8]、卷积神经网络(Convolutional neural network, CNN)[9]等. Kim等[9]整合了CNN和概率矩阵分解, 提出了卷积矩阵分解(Convolutional matrix factorization, ConvMF) 模型. Jin等[10]通过元路径引导邻域捕获节点间的交互模式, 提出了高效的端到端基于邻域的交互模型, 用于基于异构信息网络的推荐. 这些方法的成功应用展示了综合考虑多源异构信息对于提高推荐系统和个性化搜索性能是十分有利的. 另外, 受到人类视觉机理的启发, 基于注意力机制(Attention mechanism, AM)的神经网络已成功应用于图像处理、自然语言理解、语音识别、模式生成等领域[11-12]. 融合AM的神经网络充分利用特征及其重要性程度, 使得神经网络在处理数据时加强重要特征, 有利于更有效地进行特征提取. Zhou等[12]提出了基于AM用户行为模型处理推荐问题. 汤文兵等[13]提出了基于注意力机制的协同卷积动态推荐网络, 捕捉高阶特征交互. Li等[14]提出了基于时间间隔感知的自注意力序列推荐算法. 这些方法证明了融合AM神经网络的有效性, 加强了重要特征对应用领域的贡献. 然而, 现有大部分研究工作均假设所有数据已知且充足, 模型训练复杂度较大, 且考虑的数据类型较单一, 面对高稀疏性数据时通常表现不佳, 同时, 未考虑用户兴趣偏好的动态变化特性, 模型难以随新增UGC及时更新, 不适用于实际应用场景中个性化搜索.

个性化搜索本质上是一类复杂的定性指标优化问题, 也是目前人工智能领域亟待解决的难题. 用户参与进化搜索的交互式进化计算(Interactive evolutionary computations, IECs) 能够有效利用用户对优化问题的主观评价和决策, 将人类智能评价信息与传统进化优化算法相结合, 是处理个性化搜索这类复杂定性指标优化问题的可行途径[15-17]. Sun等[15]考虑区间适应值的不确定性, 提出了基于代理模型的交互式遗传算法(Interactive genetic algorithm, IGA), 处理复杂设计问题. Chen等[17]利用基于语言模型的编码, 结合基于Dirichlet多项式复合分布的用户偏好表示和贝叶斯推理机制, 提出了改进IEDA算法. Bao等[8] 充分挖掘用户隐式偏好信息, 构建基于RBM的用户偏好模型, 提出了RBM模型驱动的交互式分布估计算法(Interactive estimation of distribution algorithms, IEDA). 这些方法从构建用户偏好代理模型设计进化优化策略的角度处理个性化搜索问题, 为进化计算在个性化搜索和推荐中的应用进行了尝试, 取得了良好效果. 但是, 融合多源异构UGC和基于偏好代理模型进化计算(Evolutionary computations, ECs)的相关研究较少, 已有研究也仅仅利用了单一类型UGC信息, 此外, 没有考虑UGC不同特征信息对用户认知偏好和ECs算子的影响.

基于代理模型的进化算法在复杂工程和函数优化中已有较多研究成果, 主要利用进化过程中产生的数据或者生产实践中获得的数据, 采用机器学习方法等构建模型, 在进化过程中, 利用该模型代替复杂适应度评价函数, 实现对进化个体的适应值估计, 进而提高进化优化的效率. 常用代理模型包括: 多项式回归模型[18]、支持向量机[19]、神经网络[20]和克里金模型[21]等. Min等[22]提出了基于多问题代理模型的迁移进化多目标优化算法. Wang等[23]结合基于代理模型的低代价鲁棒估计和时间消耗的实际鲁棒性测量, 提出了基于图嵌入的大规模网络代理模型辅助鲁棒优化算法. Cai等[24]提出了一种广义代理模型辅助的进化算法处理高维高代价优化问题. 显然, 已有代理模型均基于数值型描述的优化问题, 而本文研究面向UGC的个性化搜索, 需要构建用户偏好代理模型, 其处理对象为文本、类别标签、打分数据甚至图像等, 传统代理模型不再适用.

本文考虑深入理解和充分挖掘多源异构UGC数据, 利用无监督学习RBM模型强大的表示学习能力和AM在特征选择方面的突出表现, 设计融合多源异构数据和AM的RBM用户偏好代理模型, 并结合IECs进化优化框架, 提出增强RBM驱动的IEDA, 应用于个性化搜索中. 充分利用多源异构UGC数据包含的文本类信息, 包括用户评价和项目类别两类连续、离散混合数据, 提取与用户认知偏好高度相关的特征, 获取表示用户偏好的注意力权重, 构建精准拟合用户搜索偏好的基于注意力机制和RBM的用户认知偏好模型, 实现多重特征交互, 同时捕捉低阶至高阶的基于多源异构数据的用户偏好特征; 在IEDA框架下, 设计基于RBM用户偏好的概率模型, 生成含用户偏好的可行解, 同时, 设计基于RBM用户偏好代理模型的进化个体适应度估计函数, 为搜索对象提供量化的评价值, 部分代替用户评价选择优良个体, 生成用户可能感兴趣的项目推荐列表; 考虑用户偏好的动态演化特性, 根据新增UGC数据和模型管理机制, 动态更新融合多源异构数据和AM的RBM用户偏好模型, 引导个性化进化搜索过程, 以期快速准确地搜索用户满意解, 提高个性化搜索算法的评分预测准确性和推荐效果.

本文贡献主要包括3个方面: 1)针对含用户生成内容的个性化搜索问题, 充分挖掘用户生成内容中的连续语义特征和离散类别特征, 给出基于RBM的特征融合方法和注意力权重确定策略, 以及融合注意力权重的RBM用户偏好模型构建机制, 以拟合用户兴趣偏好的动态变化过程; 2) 基于所构建RBM偏好模型, 通过计算当前用户偏好个体中决策变量属性值为1的概率, 建模用户的兴趣选择倾向, 形成IEDA进化个体生成的采样概率模型; 3) 基于RBM模型参数确定法则是最小化能量函数的原则, 利用能量函数构建了分布估计算法(Estimation of distribution algorithm, EDA)进化个体适应值评价代理模型, 进而实现了面向含用户生成内容个性化进化搜索的高效IEDA算法.

本文后续内容组织如下: 第1节给出所提算法框架; 第2节详细描述基于注意力机制和RBM的用户认知偏好模型构建; 第3节提出基于偏好模型的交互式分布估计算法; 第4节给出实例分析; 最后总结本文工作.

图 1  AM-ERBM-IEDA算法框架

图 2  基于注意力机制和RBM的用户认知偏好模型

图 3  测试用户个性化搜索实验

针对如何在大数据环境下充分有效利用多源异构UGC数据, 本文提出了融合多源异构数据的增强RBM驱动的IEDA, 并将其应用于个性化搜索这类复杂定性指标优化问题中. 利用多源异构UGC数据, 构建融合多源异构数据的基于注意力机制的RBM用户偏好模型, 帮助用户偏好模型将关注点聚焦于属性信息的重要特征, 有效抽取用户偏好特征, 动态跟踪用户兴趣和偏好. 同时, 以创造良好的用户体验和平台效益为目标, 在IEDA框架下构建用户与个性化搜索算法的交互式过程, 设计了相应的进化优化策略, 通过用户偏好模型所获得的用户认知经验和兴趣偏好动态引导当前用户逐渐搜寻到满意解, 从而有效解决了个性化搜索问题. 在今后的研究工作中, 拟将进一步有效利用图像、视频等信息, 研究融合动态群体智能IECs的个性化搜索算法及其应用, 提供智能化、专属化的用户服务体验.

作者简介

暴琳

江苏科技大学电子信息学院讲师. 2020年获中国矿业大学控制理论与控制工程专业博士学位. 主要研究方向为进化计算与机器学习. E-mail: baolin_zj@163.com

孙晓燕

中国矿业大学信息与控制工程学院教授. 2009年获中国矿业大学控制理论与控制工程专业博士学位. 主要研究方向为进化计算和机器学习. 本文通信作者. E-mail: xysun78@126.com

巩敦卫

中国矿业大学信息与控制工程学院教授. 1999年获中国矿业大学控制理论与控制工程专业博士学位. 主要研究方向为超目标优化计算智能, 动态不确定性优化, 软件测试、调度、路径规划以及大数据处理与分析. E-mail: dwgong@vip.163.com

张勇

中国矿业大学信息与控制工程学院教授. 2009年获中国矿业大学控制理论与控制工程专业博士学位. 主要研究方向为群体智能和机器学习. E-mail: yongzh401@126.com