基于Storm的实时推荐系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:sfish001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近几年来互联网技术的加速发展,各类互联网产品每天都会产生大量的用户行为日志。这些增长的日志信息使得数据利用率下降等问题逐渐显现出来。个性化推荐技术的提出就是为了解决这个问题。传统的个性化推荐技术,大多都是对数据进行离线收集,再对数据进行定期得分析以及对模型进行更新。而这种方法无法保证推荐的实时性,不能够及时反应出当前的推荐状态,从而导致推荐结果不准确。本文在研究了各个推荐算法的基础上,结合大数据的处理平台,设计并实现一个基于Storm的实时推荐系统,即对采集的数据进行分析从而得到实时的推荐结果。本文的工作内容如下:(1)针对推荐物品的特征,本文设计了离线平台和在线平台相结合的系统架构,这种架构可以很好得利用传统基于物品的协同过滤离线推荐算法,并且结合在线平台的更新算法,提高推荐的实时性和准确性。(2)本文在Storm流处理技术的基础上结合用户的实时数据,设计并实现增量更新算法。该算法包括了对物品相似度的增量更新和物品推荐结果的增量更新,并且通过时间窗口获取近期内的用户行为数据对推荐结果增量计算,从而提升推荐系统的响应速度。(3)结合本文提出的系统架构和算法,最终实现了以数据采集模块、数据接入模块、离线计算模块、在线计算模块和存储模块为核心的实时推荐系统,并以小型的电商APP的形式展现推荐结果。(4)本文根据当前推荐系统对实时性的需求,搭建实现了实时的推荐系统,完成在线实时的物品推荐,并且通过实验来验证系统实时推荐的可行性。
其他文献
随着现代科学技术和社会经济文化的发展,人类社会所面临的许多重大问题的解决,越来越取决于多学科的协同攻关;同时,现代科学技术发展的一个突出特点,是在高度分化基础之上的
【正】拓展性阅读指的是:以阅读课文为引领,激发阅读兴趣为动力,培养良好阅读习惯、优化阅读方法为两翼,开展丰富多彩的儿童阅读,促进阅读能力的快速提高,从而全面提升语文素
校企合作所指的是利用起高职学院校与相关企业的不同教育资源,通过学校与企业的共同合作来培养应用型技术人才的教学方式。就目前而言,我国的高职院校校企合作方面的许多工作
高速公路投融资工作的开展,关系着高速公路项目能否获得足够的资金支撑,继而影响着高速公路项目的有序开展。本文在对高速公路投融资方式作出分析与论述的基础上,对高速公路
本文首先分析我国企业传统的分销渠道战略实施时面临着诸多的挑战,为此提出我国企业今后在这场分销渠道变革中的应对措施和思路。
目的通过调查护生性格特征,探讨A型性格护生与在校表现之间的关系,为学校对A型性格护生开展心理健康教育和素质教育提供科学依据。方法采取自制在校表现问卷和《A型性格调查
本文对X大学声环境质量的现状进行测量并问卷调查。噪声测量采用等效连续A声级(LAeq)表征。根据高校校园的声环境特点,首次提出了把高校工作日教学区的时间分为四段来进行噪
<正>中国畜牧业协会副秘书长、禽业分会秘书长宫桂芬表示,近十几年来,中国的鸡肉消费持续保持高速增长,预计将在25年后成为第一大肉类消费品。她说,虽然当前中国的鸡肉消费量
荷马史诗是欧洲文学的源头,它包括《伊利亚特》和《奥德赛》。《伊利亚特》叙述了特洛亚战争进行到第十年时约五十天里发生的事件,以阿基琉斯的愤怒为线索,按照阿基琉斯的愤
文章概要分析了PSTN网络现状及基于软交换的下一代网络,从网络演进、业务演进和运营支撑的演进等主要方面阐述了软交换在PSTN网络中的应用.