基于降维技术和分布式计算的协同过滤可扩展性问题解决方案

被引量 : 0次 | 上传用户:unix55555
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着信息技术的发展,特别是移动互联网及物联网技术的应用,数据呈现出爆炸式的增长态势,人类社会进入大数据时代。大数据不仅数据总量大,而且数据增长快。大数据在带来挑战的同时,也带来了机遇,因为随着社交、移动等新数据源的兴起彻底打破了原有数据源的局限性,使得人们从海量数据中分析人类行为习惯等成为可能。在此背景下,推荐系统应运而生,并随着电子商务和Web2.0的发展而不断壮大。由于其具有巨大的经济效益,推荐系统在商业上的应用越来越普及,与此同时,学术界也对其进行了广泛而深入的研究。研究至今,学术界已提出多种推荐系统。其中包括基于内容的推荐系统,基于效用的推荐系统,和协同过滤式推荐系统等。在这之中,协同过滤推荐系统因其推荐精确度高,自动化程度高等优点,应用得最为广泛,研究得也最为深入。人们在对协同过滤算法的研究过程中,发现协同的推荐算法在应用过程中存在一些问题,可扩展性问题就是其中一类较为突出的问题。随着数据量的增长,可扩展性问题直接影响推荐性能,而推荐性能不仅直接影响销售量,而且间接影响客户满意度。因此,为了提高经济效益,商业界和学术界对此都进行了大量的研究和探索。受技术影响,之前的研究主要局限于降低算法的计算要求,但由此却带来推荐性能的损失。鉴于近年来,云计算技术的兴起,高性能的计算能力已经不再像过去那么遥不可及。为此,本文在前人研究工作的基础上,在以下方面进行了研究。1.研究协同过滤算法实现的不同模型,以及不同模型下面的实现算法,并在此基础之上,研究协同过滤的关键性问题,可扩展性问题。2.研究前人解决可扩展性问题的思路和方法,并在此基础之上提出了一种基于降维和分布式计算相结合的解决方案。3.阐述了降维概念,并描述了基于SVD的降维方法。4.以协同过滤算法中两类代表性的算法——基于KNN的协同过滤算法和基于Slope one的协同过滤算法为例,介绍协同过滤算法在分布式下改进的可行性,并在开源框架Map-Reduce上实现算法的分布式改进。
其他文献
创新素质是个体进行创新活动所需的内在素质,是大学生获得创新成果、成为创新人才的重要影响因素。以往的研究者就创新素质的构成与关系进行探讨,但对创新素质构成机理、培养
“双主”是以学生为主体、以教师为主导,学、教并重的一种教学模式,它既注重教师在教学中的指导作用,同时又突出学生在认知过程中的主体地位。双主教学模式,通过创设情境、自主学
纵观九年义务教育物理课程标准,无不强调物理与生活的密切关联,“从生活走向物理,从物理走向社会”始终是物理课程标准的基本理念。在这种理念的指导下,生活化教学应运而生,而且在
随着互联网的发展,我们的生活变得越来越丰富多彩。微信作为一种新兴的传播媒介,很快得到大学生的普遍关注和积极参与。微信正在迅速发展,用户主要趋于年轻化、高学历化,以大
2014年4月17日,“微博”中国社交媒体第一股登陆纳斯达克,成为首家上市的中文社交媒体。2009年微博进入了我们的视野,历经5年时间,微博已成为我们生活中不可替代的新媒体。当代中
<正>《伤寒论》第147条云:"伤寒五六日,已发汗而复下之,胸胁满微结,小便不利,渴而不呕,但头汗出,往来寒热,此为未解也,柴胡桂枝干姜汤主之。"此表证内陷少阳,而兼饮停。盖少
官僚与绅士是中国传统社会的政治精英。在传统社会的地方治理过程中,两者分别担当了不同的角色,他们既有协作又有冲突,形成了所谓"官绅共治,政事协商"的地方治理模式。在文章
沪昆客专长昆湖南段CKTJ-2标一分部所属工程位于石灰岩岩溶强发育地区,其桥梁基础均采用深桩结构,岩溶强发育给施工带来较大度的技术难度:最深的基桩达126m,最大的溶洞跨度达6
墓志不仅是记录志主生活情况的载体,同时也是反映志主生活时代社会状况的珍贵资料。它不仅使人们能了解志主的一生概况,同时,仔细斟酌墓志字句,也能够发现当时社会生活的许多
论文以《全唐文》卷七八六所载温庭筠文三十四篇作为研究对象,选用刘学锴先生着《温庭筠全集校注》所载三十四篇文为参本展开论述。第一章为考证篇,即温庭筠文结集、散佚流布