基于大数据技术的电商推荐系统的设计与实现

来源 :青岛大学 | 被引量 : 0次 | 上传用户:fongfongfongfong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术自诞生以来就一直保持着高速发展的态势,互联网技术的发展让人与人之间的关系更加紧密。随着时间的推移,网络中的数据变得越来越繁杂,信息过载的问题变得愈加严重。如何在海量的数据中获取对自己有用的信息成为了人们关注的问题。推荐系统就是为了解决这种问题而发明的,经过多年的发展,推荐系统已经在包括电影推荐、音乐推荐、社交网络、电子商务等领域有了比较成功的经验。推荐算法是推荐系统的基石,目前,研究人员已经提出了多种不同的推荐算法以适应不同的推荐场景。然而,没有哪种推荐算法能够解决所有的问题,混合推荐通过集合多种推荐方式的长处,取长补短,可以有效地缓解单一推荐方式的缺陷。本文基于一种混合推荐的思想,设计并实现了基于大数据技术的电商推荐系统。工作内容分为设计和实现两部分,首先对系统进行需求分析,并对系统的总体架构进行了设计。然后具体讲解了各个推荐模块的设计和实现的过程:本文结合了基于人口统计学的推荐算法、基于内容的推荐算法、基于ALS的协同过滤推荐算法和基于模型的实时推荐算法形成了混合推荐模块来为用户提供推荐服务。其中,基于人口统计学的推荐可以解决用户的冷启动问题,协同过滤推荐不需要物品的内容属性就可以做推荐,基于模型的推荐算法可以为用户提供实时推荐服务。在以上算法的基础上,采用Spark分布式计算引擎实现本文推荐算法,解决了海量数据下服务器性能下降的问题,并采用MangoDB作为数据库存储数据,Redis作为缓存数据库,Flume、Kafka处理实时数据,最后实现了基于大数据平台的电商推荐系统,并对系统做出了展示与测试。
其他文献
当今社会,大数据已成为最具代表性的时代特征之一,广泛地存在于各行各业及生活中。数据挖掘和机器学习是大数据技术的重要组成部分,通过对大数据信息挖掘和机器学习,构建大数据框架下的人工智能模型,是当今人工智能领域中的重要课题。分类是大数据挖掘的重要研究内容之一。作为数据挖掘的一个研究分支,分类的本质是通过对训练数据的类别学习,构造分类模型,并依据分类规则对未知样本进行类别预判。本文基于邻域粗糙集和模糊粗
伴随着互联网的高速发展,外卖行业的需求量大幅度上升。文章以扬州市第三方网络外卖平台运行过程中所存在的食品安全监管问题为例,研究互联网背景下,第三方外卖平台在食品安
国家为推进高职教育招生考试改革,设计了六种招生考试方式。对湖北省部分中职院校进行调研,分析几种招生考试方式的实现状况及考生的认同度,结合高职招生考试实际,得出几种招