基于自注意力机制的混合推荐模型的研究与应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:ameiameiiou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
推荐系统在现代网络服务中发挥着越来越重要的作用。传统的推荐模型尽管应用前景广阔,但仍面临一些挑战:1)当能够获取到的评分信息非常稀少时,模型容易遭受数据稀疏性和冷启动问题。2)传统的推荐模型都是浅层模型,无法学习到用户和项目的深层次特征。3)模型的基本假设是潜在向量各个元素对模型的预测结果的权重相同,会导致用户-物品间重点关系表达不显著。与传统的推荐模型相比,深度学习模型可以自动捕捉数据本身内部错综复杂的关系,挖掘到用户和项目特征。同时它还可以有效捕捉用户和项目的非线性历史交互,能够获取更复杂抽象的高阶交互特征表示。受人类视觉注意力的启发,研究学者们提出了注意力机制理论。它使神经网络只专注输入特征中重要的部分,也就是给重要的特征赋予更高的权重。这样模型不仅能够捕获用户和项目间的重要组合特征,而且各个特征的权重值还可以可视化,使得在推荐任务中,模型具有优秀的可解释性。因此,本文将结合注意力机制和深度学习的优势,提出一种基于自注意力机制的混合推荐算法。本文在以下四个方面对推荐系统做了创新性研宄:(1)如何将多源异构辅助信息融合到推荐系统中。在现有的大部分研究工作中,都是采用多层全连接神经网络去学习辅助信息的特征。但是由于辅助信息往往具有数据异构、数据稀疏和分布不均匀等复杂特征,采用单一同质的多层感知机并不是最有效的融合异构数据的方法。因此,本文设计了一种异构数据的特征提取方法,针对不同的数据结构采用不同的深度学习模型。具体的,对于离散型数据,采用字段嵌入的方法提取特征。对于文本型数据,采用文本卷积神经网络提取特征。(2)针对现有模型中各个元素权重相同,无法学习重点信息的缺陷,本文引用自注意力机制,设计了一个多头自注意力层。它能够自动捕获各个元素的注意力分数,也就是权重值,以组合有意义的交互特征。一个特征也可能涉及不同的组合特征,所以本文通过使用多个头创建不同的子空间并分别学习不同的特征交互,最后得到所有子空间中学习的组合特征。(3)针对浅层模型无法学习用户和项目的深层次特征,本文设计了一种具有残差连接的多头自注意力神经网络。利用堆叠不同层数的多头自注意力子层,可以对任意阶的特征组合建模,得到深层次的特征。同时为了使模型能够学习足够的深度,加入了残差网络中的残差连接方式。(4)最后,结合异构数据特征提取和多头自注意力神经网络,本文提出了基于自注意力机制的混合推荐模型。具体而言,模型首先将输入的分类特征和文本特征映射到相同的低维空间,然后,将得到的低维向量输入到多头自注意力神经网络,明确地建模用户和项目的高阶特征交互作用。在MovieLens 100K和MovieLens 1M的两个公共数据集上进行实验,实验结果表明,本文提出的方法不仅优于现有的最先进的预测方法,而且提供了良好的可解释性。
其他文献
对一类带建模误差和不确定性外界干扰的船舶运动非线性系统,提出了一种基于神经网络和L2增益方法的航向自动舵设计。对模型中的建模误差采用在线神经网络予以辨识和补偿,避免了
分析了仅依靠成本效益评估而选择的船舶风险控制方案的片面性,综合考虑安全、环保、经济收益、成本等多因素对方案所表现的影响,建立了基于灰色关联度的船舶风险控制方案多指标
分析了船舶锚泊系统中锚索悬链状态的特性,根据平衡状态下船舶受到的总回复力和扰动力相平衡的原理,定义目标函数为船舶x,Y方向合力平方和,采用单纯形直接搜索法求解,寻找扰动力作
研究了随机纵浪中船舶的参数激励横摇运动。将船舶初稳性高作为时变的随机参数激励,应用随机平均法和FPK方程,分析了船舶的参数激励横摇运动微分方程。考虑航速、船舶瞬时湿表
充满关怀的关系是温暖的,充满关怀的世界是美好的。20世纪80年代中期,美国著名教育哲学家内尔·诺丁斯提出了关怀教育理论,对西方世界产生了广泛的影响。关怀教育理论重视师
为估算中国国际海运船队温室气体的排放状况,对联合国政府间气候变化专门委员会(IPCC)提出的“自下而上”以及“自上而下”排放量估测方法进行分析,表明海运温室气体排放量取决于
水火弯板工艺生产过程中,其中一种主要的参数是火路位置线路的确定。通过对水火弯板加工成型理论的研究,建立了外板曲面变形数学模型,并结合水火弯板工艺专家经验基础,提出船体帆