随着互联网的蓬勃发展,人们已经走进了大数据时代。互联网用户如何从海量的数据中的快速有效地搜索有价值的数据,提高信息获取的效率,已经成为个性化推荐领域面临的巨大挑战。近几年来,个性化推荐技术在国内外迅速崛起并广泛应用于电子商务、视频音乐等领域的站点,它不仅是互联网公司一直在努力攻克的技术难题,也是很多研究机构的重要研究方向。传统的推荐系引擎多是集中式单一节点的架构,处理能力有限,扩展性差,不适合应用于大规模数据分析和处理。目前,改善单个节点推荐算法扩展性问题的方法有很多,虽然在一定程度上提高了算法扩展性,但是有限的硬件计算能力远不能满足日渐增长的处理需求。云计算的出现为这一问题的解决提供了新的思路。当前,基于分布式并行处理架构的推荐引擎己成为当前研究和应用的热点。针对传统协同过滤推荐算法的扩展性瓶颈和分布式算法的效率问题,本文设计了一个基于Hadoop平台的分布式协同过滤推荐系统。协同过滤推荐的经典代表是基于用户的协同过滤推荐和加权Slope-one推荐。本文结合分布式数据库HBase、分布式文件系统HDFS和分布式并行计算框架MapReduce对这两种协同过滤推荐算法进行分布式实现,并使用HBase优化实现流程,提高算法效率。本系统不仅支持海量稀疏性数据存储与分析,而且有效地提高了协同过滤推荐算法的可扩展性,并提供与用户的实时交互功能。基于对HBase上MapReduce任务数据本地化问题的分析,本文提出了一种HBase的两级负载均衡策略。该策略通过迁移节点上超载的Region,解决了表的Region集中分布的问题,在保证节点负载均衡的同时,确保每张表的Region在各个节点上平均分布,有效地提高了对表进行MapReduce操作时的数据本地化任务比例。本文提出的分布式推荐算法解决了传统的协同过滤推荐算法难以扩展的问题,为海量数据下的协同过滤推荐提供了解决方案,具有一定的借鉴意义。