个性化推荐系统优化及其大数据处理研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:lxzshenzhen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息检索是获取互联网信息的重要方式,在这个阶段,人们能够检索到信息,但却需要自己去鉴别信息的有用性。个性化推荐系统是在大数据时代,机器通过分析用户的个人喜好以及在互联网上留下的个人历史口迹而进行的有针对性的信息投送技术。推荐系统目前在电子商务,音乐服务,电影服务业都有比较成熟的应用。但就现阶段的成熟性而言,推荐系统在系统架构与算法研究上都还有很多值得深入研究的内容。冷启动是推荐系统中与生俱来的核心问题之一,由于用户或物品的新加入从而导致推荐系统无法学习用户或物品的个性化特征,也因此导致推荐系统无法针对此用户或物品提供恰当的推荐建议,传统上基于人口学冷启动推荐又往往在整体可扩展性,计算效率上存在比较大的问题,且存在长尾效应。如何解决这些问题,本课题提出了基于聚类与信息检索的方式,给出了这些问题的优化方案。大数据处理是应对海量数据的基础架构,本课题中我们讨论并给出了通用的针对基于内容推荐,基于协同推荐的通用设计方案,以及课题提出的冷启动方案的大数据处理设计方案。SlopeOne是协同过滤算法中一种十分简单且高效的推荐算法,算法需要依赖大量的用户的评分,且如果要得到推荐结果,算法还需要大量的对待预测项目的评分,也就是算法本身也存在冷启动问题,对于第一点,算法需要依赖大量评分信息,本课题设计了基于大数据处理平台Hadoop的SlopeOne算法实现与优化方案,方案对SlopeOne的增量计算特性进行了分解设计,并且对于可能出现的内存溢出问题进行了相应的设计。对于第二点,冷启动问题,我们充分利用了我们课题中的第一部分内容,我们把SlopeOne的数据集分为两类:训练数据集与测试数据集,训练数据集是已经存在的真实历史记录,而测试数据集是通过冷启动生成的具有适当评分的数据集,首先我们是想解决SlopeOne的稀疏性问题,因为待预测项目如果没有任务评分信息,SlopeOne无法计算预测评分。其次,在大数据处理过程中,核心是如何对已经存在的历史记录建模,而用户对于待预测的项目也是有一定的要求,而冷启动方案中可以很好的提供这些用户具有要求的项目,这对于计算预测可以减少可观的数据量。
其他文献
大理石纹釉是一项长久以来受全世界人民所喜爱的手工艺技术。其制作流程的基本特征是,对悬浮在基底液表层的颜料的流动方式进行操纵,然后将得到的图案转移到纸或其他具有吸纳
多Agent理论和技术的研究是分布式人工智能领域的主要研究课题之一,其基本研究任务是协同系统中各个Agent的目标、规划、知识和动作等,以使它们完成各自的任务及协作求解复杂
随着Internet技术的不断发展,网络上产生了大量的信息,如何从中找到满足用户需求的信息成为研究的热点。传统的信息搜索技术已经不能很好的满足该方面的需求,为此,个性化推荐
随着企业信息化步伐的加快,如何及时、有效地实现企业网络办公的自动化,这一问题不仅是大型企业机构最为关注的焦点问题,同样也是中小企业迫切需要解决的问题。实施办公自动化正
移动通信的蓬勃发展,需要高性能、大容量的移动通信系统,这对GSM移动通信网中心数据库的归属位置寄存器(HLR)系统提出了新的要求。HLR是一个管理移动用户的数据库,存储与用户
随着计算机硬件和通信技术的飞速发展,各种嵌入式设备和系统在各个领域中得到了广泛的应用,互联网应用正在从传统的以PC为中心转移到以嵌入式设备为中心,互联网连入的设备特
随着Internet的发展,人们的生活和工作越来越离不开互联网络。许多企业用户已经拥有了一个或多个自己的局域网,如何稳定、安全的让每个局域网接入Internet,这是一个对于信息安全
本文论述了层架构的设计思想,在此基础上设计了一套软件系统架构方案。不仅很好的解决了项目中复杂的业务逻辑处理问题,而且提高了系统的效率和性能。方案应用于网通的一个CRM
随着网络技术的迅速发展和普及,电子商务的发展越来越快,人们对它的要求也越来越高。目前普遍存在的电子商务形式是第一代电子商务[1],它有很多的缺陷,与人们日常购买方式存
WWW上拥有海量、分布、动态、异质、非结构化的丰富信息资源,但用户一直没有合适的途径获取它们,而互联网传统的信息检索的粒度不能满足客户的需要,人们迫切需要Web挖掘技术