论文部分内容阅读
信息技术自诞生以来就一直保持着高速发展的态势,互联网技术的发展让人与人之间的关系更加紧密。随着时间的推移,网络中的数据变得越来越繁杂,信息过载的问题变得愈加严重。如何在海量的数据中获取对自己有用的信息成为了人们关注的问题。推荐系统就是为了解决这种问题而发明的,经过多年的发展,推荐系统已经在包括电影推荐、音乐推荐、社交网络、电子商务等领域有了比较成功的经验。推荐算法是推荐系统的基石,目前,研究人员已经提出了多种不同的推荐算法以适应不同的推荐场景。然而,没有哪种推荐算法能够解决所有的问题,混合推荐通过集合多种推荐方式的长处,取长补短,可以有效地缓解单一推荐方式的缺陷。本文基于一种混合推荐的思想,设计并实现了基于大数据技术的电商推荐系统。工作内容分为设计和实现两部分,首先对系统进行需求分析,并对系统的总体架构进行了设计。然后具体讲解了各个推荐模块的设计和实现的过程:本文结合了基于人口统计学的推荐算法、基于内容的推荐算法、基于ALS的协同过滤推荐算法和基于模型的实时推荐算法形成了混合推荐模块来为用户提供推荐服务。其中,基于人口统计学的推荐可以解决用户的冷启动问题,协同过滤推荐不需要物品的内容属性就可以做推荐,基于模型的推荐算法可以为用户提供实时推荐服务。在以上算法的基础上,采用Spark分布式计算引擎实现本文推荐算法,解决了海量数据下服务器性能下降的问题,并采用MangoDB作为数据库存储数据,Redis作为缓存数据库,Flume、Kafka处理实时数据,最后实现了基于大数据平台的电商推荐系统,并对系统做出了展示与测试。