基于注意力机制的深度神经网络推荐算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:crackerking
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,推荐系统得到迅速发展,在工业界和学术界均受到极大关注。目前有许多推荐系统的解决方案,比较传统和经典的是协同过滤推荐算法。基于模型的推荐算法也是一大类,其中,注意力机制的方法能将焦点放在最能够体现用户兴趣偏好的特征上,能较好的捕捉用户兴趣的动态性和多样性,所以基于注意力机制进行推荐算法研究具有很大的意义。为了证明注意力机制在处理短期会话时相比DNN、RNN具有更好的效果,首先研究一种基于短期会话的推荐算法,根据用户短期行为特征信息进行推荐,利用位置编码来获取用户行为数据的相对位置信息,然后通过多头自注意力网络对用户短期兴趣进行捕捉,再通过注意力机制转换成单个嵌入向量,最后输入DNN模型进行预测和召回步骤。考虑到用户长期行为特征信息,为了使推荐算法具有更好的效果,在短期会话的基础上,融合长期会话数据,进一步研究一种基于长短期会话的推荐算法,并行使用多个注意力捕捉长期会话中多个用户历史行为特征,然后使用注意力机制对长短期特征赋予权重,构建最后的嵌入向量。对研究的两种模型进行实验,同时加入传统的协同过滤模型以及一些基于深度学习的模型作为对比实验,通过召回率、精确率、F1 Score以及Hit Ratio这四个指标对模型进行评估。实验结果分析发现,基于短期会话的推荐模型在各项指标上有不错的表现效果,而基于长短期会话的推荐模型表现最好,在Hit Ratio上要比基准模型提高6.83%,相对基于DNN的推荐算法提高了5.9%,实验结果验证了设计的模型具有可行性和有效性。同时,对模型的参数进行了实验分析,结果表明,多头自注意力网络头个数为4以及兴趣融合方式为注意力时模型表现效果最好。
其他文献
随着计算机网络技术的蓬勃发展,防火墙技术成为重要的网络安全保护组件。尤其是对于嵌入式设备而言,如何确保防火墙的安全性能是备受关注的课题。目前而言,网络防火墙数据包匹配算法以及防火墙策略检测算法还存在一些问题。例如,目前大部分网络防火墙中的数据包匹配算法还是基础的顺序匹配算法,不能满足大型网络防火墙下对过滤性能的较高需求。而目前的防火墙策略检测算法对于处理实际情况下的IP地址任意前缀长度的问题缺乏很
目前,机器学习在网络研究领域得到了广泛应用,但是研究人员使用的网络环境不一致,导致算法结果难以复现,阻碍了机器学习网络研究的发展。目前主流工具ns3-gym利用ns-3作为统一的网络仿真平台,并使用了 ZMQ套接字实现ns-3和OpenAI Gym的数据交互。但是其数据传输速率较慢,在数据量较大和对传输速率较高的场景下不能够很好地满足要求。并且,ns3-gym使用的OpenAIGym仅针对强化学习
我国胃癌患者占全球发病人数的47%,其发病率和死亡率在所有恶性肿瘤中均占第二位,严重威胁人民的生命和健康,胃癌死亡率高的重要原因是其早期症状不明显,多数患者确诊时已发展到进展期,进展期胃癌易转移和复发,因此,早发现早治疗对降低胃癌死亡率具有重要意义。识别关键致病基因确定治疗靶点,是诊断和治疗的关键。传统医学实验识别关键致癌基因存在代价高、耗时长等缺点。随着组学技术的发展,积累了大量的转录谱数据,使
近年来,永磁同步电机广泛应用于各行各业。传统永磁同步电机矢量控制系统以DSP作为控制器,而基于DSP设计的电流环存在电流环带宽小,响应速度慢的问题。近年来逐渐出现DSP+FPGA的设计,其中电流环基于FPGA实现以提高电流环带宽,转速环仍由DSP作为控制器。然而这样的设计不仅需要复杂的DSP与FPGA之间的高速通信数据交换设计,也浪费了一定的资源。FPGA的接口灵活,模块化设计简单完全可以取代传统
针对目前微小型机器人存在的驱动效率低、避障能力受限等问题,受自然界变色龙舌头弹射和蠕虫蠕动爬行功能启发,本文基于电磁线圈与小磁块的相互作用,设计制备了一种具有快速弹射和抓取功能的微型抓手和一种自适应避障的仿蠕虫微型机器人以实现提高微小型机器人驱动效率和避障能力的目标。本文结合了数值模拟和实验分析,对机器人的运动能力与避障能力进行了表征和分析;揭示了机器人快速弹射和抓取功能实现机理,并阐明了机器人自
遥感影像中经常存在模糊退化和死像元、条带噪声等非均匀性噪声,两类退化互相耦合,严重降低图像质量,制约遥感影像后续应用。因此,非均匀性噪声干扰下图像去模糊问题,具有相当的研究价值和意义。不同于单一的非均匀性噪声退化或模糊退化,两类退化耦合导致难以依次单独地处理某一退化,如何解除非均匀性噪声退化与模糊退化的耦合,兼顾非均匀性噪声校正与去模糊,是该图像复原任务的难点所在。本文针对死像元与条带噪声这两种非
人群统计研究发展至今,针对该项研究已提出多种优秀的统计模型,由刚开始的网络层数较浅、训练参数较少的轻量级网络到现在的网络层数较深、训练参数较多的重量级网络,不同的统计模型具有不同的优点,同时其缺点也不可忽略。网络层数浅、训练参数少的轻量级网络易于训练,且在稀疏人群场景下人群统计效果较好,而当场景人群密集时,其统计效果较网络层数深、训练参数多的重量级网络而言相去甚远。而重量级网络因其参数较多、较为笨
随着云计算的发展,容器已广泛使用在应用的部署当中。与硬件级别的虚拟化技术不同,容器没有额外的硬件抽象,可直接访问物理硬件。硬件抽象的舍弃带来了性能上的提升,但也对容器的隔离性提出了巨大的挑战。由于容器与宿主机共享操作系统内核,致使正确的可用资源信息无法暴露给程序,运行于容器中应用会因此产生错误的运行时决策,带来性能上的下降。在申威硬件平台上,尽管容器在深度容器管理平台的协助下能够正常运行,但是因隔
图像拼接技术的研究和应用目前取得了很大的进展,但是在现有的视差图像拼接算法中,依然存在着边缘鬼影和结构破坏两种问题,严重影响了视差图像拼接质量。因此,对于图像拼接中的边缘鬼影和结构破坏抑制方法的研究具有重要的价值与意义。边缘鬼影的问题出现在基于网格优化的视差图像拼接算法中,尤其是当图像中存在物体边缘深度变化明显的情况下,如何赋予深度不同物体上的特征点,具有明显差异的局部单应性计算权重,正是抑制边缘
燃气资源的经营关系着国家能源安全、经济发展以及政治等因素,政府和社会在采取宏观调控和干预措施的同时,也对企业的经营自主权造成了一定程度的限制。D公司作为燃气工程企业是本市公共产业中的重要部分,D燃气施工企业的经营具有公用性特点,与广大人民群众的切身利益息息相关。在激烈竞争时代下,D燃气施工企业等国有企业面临改革以及市场竞争的挑战,需要通过内部改革实现效率的提高和业绩的提高。本文以燃气工程企业D公司