基于流计算平台的推荐系统的设计与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:lv0550159
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,信息科技高速发展,信息量呈现出爆炸式的增长,在面对琳琅满目的各种数据信息时,人们如何从如此多样化的信息中检索真正有用的信息,提高多信息使用的效率已成为一项巨大的挑战。这是人们经常对信息过载的看法。推荐系统便是为了解决这一问题而应运而生的一项互联网技术,通过研究用户的兴趣与爱好,根据用户的不同,个性化地给他们进行信息的推荐。但是,由于技术的缺乏,推荐系统的计算结果无法实时反馈给用户,推荐的数据不能实时更新,使得推荐有滞迟,这即是推荐系统中的实时问题。另外,在网站的初始阶段,由于数据的缺乏,无法进行有效的推荐,这即是推荐算法的冷启动问题。因此,本文的写作目的就是为了解决上面提到的两个难题。本文的主要工作包括:(1)对于实时性问题,使用Spark Streaming流处理框架对推荐系统进行设计并实现,并将推荐系统分为在线实时计算模块和离线延时计算模块两部分,这样可以充分的两种计算模式的优势。(2)对于算法的冷启动问题,我们在本文中提出了一种混合协同过滤推荐算法。该算法混合了聚类与矩阵分解两种常见的方法,通过对目标用户使用关联聚类和特征值分解,有效的克服了冷启动问题。通过实验数据的比较,文中推荐系统使用的推荐算法更准确。(3)设计和实现了基于Spark实时流计算推荐系统。在此模块中,我们对整体系统做出了详细的需求分析,主要包括总体架构分析、需求分析和功能分析。
其他文献
十一届三中全会后,我国的公民参与取得了可喜的成绩,“参与”、“治理”和“善治”等词语成为了时代流行词汇。基层社会治理是关乎每一位公民的切身利益的大事,其极为迫切的
对同解法的基本思想和流程进行归纳,研制相应的软件系统。利用模拟的GPS和星间测距数据进行同时确定重力场模型和卫星精密轨道的仿真模拟,验证本文设计思路的可行性和软件系
护理实习生是职业接触的高危人群,加强职业安全教育是降低职业接触风险的重要措施。通过建立职业暴露情景教学模式,探讨职业安全意识情景教学和职业暴露应急能力情景教学的应
通过化学修饰的方法,将卤代苯及吡啶接入菊糖.通过红外光谱法以及核磁共振氢谱法对目标化合物进行了结构鉴定,并在体外测试了其对三种植物病原体的抑真菌活性.结果表明,与菊
51年前,台湾爆发了官逼民反的二·二八起义。这场历时15天的义举震撼了全国。虽然起义遭受国民党的血腥镇压,但它写下了台湾人民奋斗史上的光辉篇章。1947年3月8日,中共中央在延
期刊
用线性规划的优先策略寻求两类NP难的随机排序问题的近似解法,并分别给出了其近似度.
FocA是甲酸-亚硝酸转运蛋白家族(Formate–Nitrite Transporter family, FNT)的一个代表性成员,这个家族的成员在细菌、古细菌、真菌、藻类和寄生虫中主要负责跨膜转运一些短
[方法]利用德州市11个气象观测站1971~2014年逐日平均气温资料,采用五日滑动平均、经验频率法、趋势分析法,[目的]对该市0℃界限温度初(终)日、间隔日数、积温变化特征、稳定
弗兰西斯·普朗克的音乐诙谐、讽刺而古灵精怪,熟练的技巧为其创作打下了牢固的基础,其音乐总有着明亮优雅的织体与结构,他的每一部作品都给人简单、质朴、亲切之感,而这恰恰
欧洲空客集团(Airbus Group)即原欧洲航空防务与航天公司(EADS),2014年开始,其下属分为空客民用飞机公司、空客防务与航天公司(ADS,以下简称空客公司)、空客直升机公司。其中,空客