基于流处理和深度学习的推荐系统研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:bigfishing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年由于互联网的快速发展,其在为我们提供便利的同时也到导致了“信息过载”的问题,而推荐系统就是为了在海量数据的情况下将用户感兴趣的物品快速准确地推荐给用户。近些年深度学习与流处理框架在推荐领域被广泛应用,相比于传统推荐模型,深度学习推荐模型表达能力更强。相比于传统的大数据处理框架,流处理框架能够更加及时地获取用户兴趣的实时变化,提升推荐系统推荐的实时性与准确性。目前的推荐系统存在以下几点问题:(1)模型输出部分对交叉特征无差别求和,忽视了不同特征对结果影响的重要程度不同(2)深度学习模型难以有效地学习高阶的组合特征(3)传统Embedding编码方式难以对图结构候选集编码(4)目前大数据处理框架在用户数据收集上实时性不足。针对以上问题,本文主要工作如下:1.针对模型对输入特征无差别求和的问题本文提出了一种基于注意力机制的AFFM(Attentional Field-aware Factorization Macheine)模型。AFFM模型使用了线性与非线性双网络并行训练的结构,在模型中引入了注意力机制使得模型能够对不同特征计算出不同的权重,提升重要特征对推荐结果的影响。针对模型无法有效学习高阶特征的问题引入FFM(Field-aware Factorization Machines)作为AFFM模型的线性侧算法实现提升模型的特征交叉能力,FFM引入了特征域感知使模型能够更加有效的学习高阶组合特征,提高模型表达能力。2.针对传统Embedding无法很好的处理处理图结构特征数据的问题,本文引入了Graph Embedding的编码方式对图结构中的节点进行Embedding编码。通过Graph Embedding生成的节点Embedding包含了图中的关系信息以及邻近节点局部相似性特征,使得模型推荐结果更加准确。3.针对推荐系统实时性不高,用户兴趣无法实时反映到推荐结果的问题,本文使用流式计算框架Flink实时收集用户行为数据并更新模型,同时引入了FTRL(Follow The Regularized Lead)在线学习算法优化实时推荐,FTRL优化算法能够解决模型稀疏性的问题,提升模型推荐的实时性与精确性。4.对本文推荐系统进行需求分析,设计并实现基于流处理与深度学习的推荐系统,系统包含系统业务模块、推荐模块与数据收集模块,其中系统业务模块使用Spring Cloud实现,推荐模块使用Graph Embedding进行特征Embedding向量的生成与召回层实现,使用AFFM模型作为离线推荐排序层实现,并使用FTRL算法对实时推荐进行优化。
其他文献
Transformer是一个基于多头注意力机制的深度学习架构,在自然语言处理领域具有里程碑式意义,在业界很多大规模模型上得到了广泛的应用。近年来,Transformer也成为计算机视觉领域的重要研究方向。Transformer架构引入了并行化,利用并行训练,可大大减少训练时间,提高计算效率。2021年,新一代国产申威众核处理器SW26010Pro正式推出,其配套的软件环境中已完成了对Py Torc
学位
在许多研究领域,对多个数据集的联合分析变得越来越重要。当在几个独立的实验中研究其相同的特征时,一种常见的综合方法是联合分析多个测试结果的多个序列。本文研究了基于隐马尔可夫模型的信号三分类问题,并在大规模基因组学领域针对各种病毒做了一系列应用。引入了正负两方向的错误分类率(FDR),并开发了基于参数的Oracle算法和基于数据的Data-driven算法来控制每一种错误分类率,同时实现最大的预期正确
学位
随着国内网上零售高速发展,消费者的行为习惯也发生了天翻地覆的变化,各类营销模型争奇斗艳,其中将互联网与线下商务渠道有机结合的O2O商业模式发展最为迅猛。目前针对O2O商业模式的技术支持和落地实战的研究较为丰富,而对O2O优惠券如何提高核销率的核销因素研究相对稀缺。分析O2O优惠券核销因素,不仅能够帮助商家制定更高效的促销策略,也能帮助消费者屏蔽各类促销优惠活动的干扰,准确的判断优惠券的实际优惠价值
学位
光学三维检测技术有着广泛需求,面结构光检测技术被大量应用在视觉检测、质量检测、逆向工程、三维重构和SMT(表面贴装技术)贴片等诸多领域。随着计算机的发展,学者们对光学三维测量的研究越加地深入。本文研究基于结构光进行三维SMT贴片缺陷检测,主要研究相位计算方法、三维测量系统的标定技术、硬件平台的设计和三维SMT贴片缺陷检测。结构光系统标定是三维检测的前提步骤,在主动视觉技术中,通常需要对摄像头和投影
学位
近年来,视频图像自动识别技术已经取得了显著的进步,人脸识别,车牌自动识别等视觉技术已经成为人们的日常,得到了非常广泛的应用,但是对于大多数用户来说,视频动作识别相对陌生,这与人民日益增长的安全需求相矛盾,所以基于监控场景的视频动作识别系统的普及也越来越迫切。本文的主要工作如下:(1)针对经典时空卷积网络(STGCN)对骨骼信息利用不足的问题,本文设计了一种基于多信息融合的残差时空图卷积网络。首先在
学位
API接口是分层体系架构中一组事先定义好的函数,为确保系统各层级之间可以通过接口交互良好,接口需要进行详细测试。在实际接口测试工作中,常用的Jmeter、Python等测试程序,对于测试新手有一定难度,Postman则难以对测试用例进行统一管理。此外,这些测试工具均需要测试人员手动编写测试用例与脚本,并且在团队协作测试中难以实现资源共享,故需实现一个操作简单、功能全面的接口自动化测试系统来解决上述
学位
水下无线传感器网络(Underwater Wireless Sensor Network-UWSN)作为一种全新的方式为人类获取水下世界信息、勘探水下资源提供了帮助,并成为了当前的研究热点。水下环境相较于陆地环境,具有更高的复杂性,包括链路质量较差、网络利用率较低、水下设备能量受限难以充电和易出现路由空洞。这是水下环境中的路由面临的一项重大挑战。提出并设计可靠高效的空洞避免算法及水下无线传感器网络
学位
随着近几年“黑天鹅”事件的频发,居民收入和消费水平深受影响。为研究各省之间居民收入和消费水平状况,本文选取了全国31个省份(不包括港澳台)的居民消费水平和人均GDP的数据,通过描述性统计进行分析。研究得出了相关结论,并提出了针对性建议,以期助力我国经济高质量发展。
期刊
互联网时代使用深度学习技术保护个人隐私成为一种新的可行方案。在公共网络社交中,用户的声音特征、面貌特征保护主要依赖于通信软件的加密算法,在终端和链路中缺乏针对特定隐私的保护。论文针对现有语音识别、语音合成、声纹识别、信号处理等语音技术,提出一套基于语音技术保护用户身份隐私的安全通信方案。论文提出的方案分为本地端处理和服务端部署两个部分。在本地端综合信号处理和模型处理两种方法,对语音数据做声纹去识别
学位
文本风格迁移是自然语言处理领域中一个前沿的细分领域,具有重要的研究和工业应用价值。本文在前人研究的基础上,通过对比发现以往模型的不足,进而找到本文的研究目标,即针对现有模型无法实现文本内容和风格保留的平衡的问题,以及现有模型往往只能针对一种语料库,无法对平行语料和非平行语料均做针对性优化的问题,展开了研究探索,本文提出了一种基于关键词和语法树的文本风格迁移模型,不仅解决了现有模型的上述两个问题,而
学位