互联网+时代的到来驱动了人类对信息的新需求,改变了人们与世界互动的方式,如何帮助用户准确、高效、全面地获取所需信息成为研究热点。作为用户获取信息的一种方式,推荐系统在信息查询和获取方面起着举足轻重的作用,推荐系统通过分析用户的历史行为为其提供感兴趣的信息服务。本文在对现有推荐算法进行认真分析和深入研究后,提出了基于流行标签与连边社团的协同过滤算法并在Spark平台上进行了验证,实验结果表明该算法可以有效提高推荐的准确性。论文的主要工作如下:首先,针对数据的稀疏性,本文重点研究了基于标签的协同过滤推荐算法。通过基于流行标签来表示用户所使用的每一个普通标签,进而最大程度地保留用户的完整信息和个性化信息,同时降低了建模维度,缓解了因数据稀疏性导致推荐效果不理想的现象。其次,针对数据的冗余性,提出了改进算法:即基于连边社团检测算法对用流行标签表示的普通标签进行聚类。由于常规的聚类算法只能把一个标签划分到一个类别,而实际应用场景中往往存在着一词多义的模糊标签。连边社团检测算法能够有效发现重叠簇,找到一词多义的标签,再考虑与该标签具有连边关系的其他标签所表达的含义,判断该标签的真正含义以及所属的类别,有效解决了标签的冗余性,提高了推荐结果的质量。另外,考虑到数据处理速度较慢、实时性不高、可扩展性较低等问题,本文将改进算法在Spark平台上进行了实现。当数据规模巨大时,相对于Hadoop平台,Spark平台拥有更高的运行效率、更高的实时性和可扩展性。最后,本文对比了基于普通标签的传统聚类算法和基于流行标签的连边社团算法,并利用准确率和召回率两种指标对其进行评价。实验结果表明,本文采用的改进算法可以有效提高推荐结果的准确度;同时,基于四个不同规模的MovieLens数据集,分别在Hadoop平台和Spark平台进行了对比实验,数据显示当数据量越大时,Spark平台在处理速度、可扩展性方面比Hadoop平台的优势更大。