基于Spark的商品个性化推荐系统的研究与实现

来源 :贵州大学 | 被引量 : 0次 | 上传用户:chongfengli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文通过研究传统推荐算法存在的不足,针对商品个性化推荐的特殊场景,提出离线推荐与实时推荐相结合的混合推荐算法,从而有效地解决推荐系统中存在的数据稀疏性、实时性和冷启动等问题。本文主要的研究内容如下:(1)离线推荐中,首先针对基于物品的协同过滤算法(Item CF)在大规模数据中难以计算物品相似度的问题,设计了基于用户贡献度的相似度计算方法,该方法基于置信度并引入TF-IDF思想,计算用户贡献度,然后借鉴Apriori算法思想实现改进的计算方法,但Apriori算法在大规模数据集上难以实现,通过进一步研究并行化机制,设计并在Spark上实现并行化算法,提高了计算效率。通过分析发现,用户的兴趣焦点随时间而变化,因此,提出了基于时间的用户兴趣度权重,完成Item CF的改进。接着利用改进后的Item CF选取候选集,然后通过数据分析、数据预处理和特征选择等过程,建立特征工程。最后根据XGBoost模型和候选集的特征得到推荐结果,实验结果表明,推荐的准确性明显提高。(2)实时推荐中,以改进后的Item CF为实时推荐算法核心,采用蓄水池加权采样法来增量更新物品相似度矩阵,根据采样结果,为用户采取不同的更新策略,达到实时推荐个性化的结果。针对冷启动问题,设计了基于牛顿冷却算法的排行榜,作为新用户的推荐补充。设计了实时推荐系统的架构,并基于此架构实现了排行榜和实时推荐算法。最后通过对比实验分析,最终实验结果表明,该实时推荐算法提高了推荐的准确性,并且满足系统的实时性要求。(3)基于本文提出的混合推荐算法,设计并实现了一个基于Spark的商品个性化推荐系统,完成了商品个性化推荐的基本功能。
其他文献
本论文基于贵州航天计量测试技术研究所的项目《高功率微波强电磁脉冲测试技术研究》要求,对多通道的强电磁脉冲信号采集系统展开研究。先是对高功率微波信号的相关技术进行研究,包括极化天线的基本原理,检波器的结构、采样定理以及电磁防护等;后按照项目的任务要求,设计了脉冲信号采集卡的硬件电路部分与软件部分,内容含有结构框图规划、电路图设计、FPGA控制程序设计、PCB版图绘制与IP核调用、功能仿真、上位机程序
二维材料显示出优异的光学、力学、热学、磁学等性质,在高性能电子器件、光电子器件、自旋电子器件以及能源转换和存储等领域得到应用,其中单层过渡金属硅化物CrSi2在以往的研究中表现出铁磁性和金属性,有望成为新型的二维材料。本文对二维CrSi2进行了研究,选用Ti、V、Co、Ni四种过渡金属元素对二维CrSi2材料进行不同浓度的掺杂,运用第一性原理软件VASP计算掺杂前后的电子结构、磁学性质和光学性质进
近年来,绿色环保和节约能源等热点问题引起了广泛的关注,而我国在路灯节能方面还存在许多不足。同时我国大部分路灯还采用传统的单一控制方式,不能对某一部分或某一个单灯进行精准控制。此外,现有路灯系统需要现场人工巡检和故障排查,对路灯故障点不能及时有效地发现和维修,影响道路交通的畅通性和路灯的有效性。再者,传统路灯缺乏统一的管理监控平台,会造成路灯系统信息管理混乱,信息资源不能统一的整合和监控。针对以上现
当前,随着物联网技术的飞速发展,衍生出了一大批物联网终端设备。物联网技术在水族设备上的应用能够解放劳动力并满足智能养殖的需求,因此物联网技术成为了生产实践和科学研究的热点。针对目前市场上大多数水族饲养设备存在智能化程度低、人工依赖程度高等问题,本文结合传感器技术、Android技术设计了一种基于物联网的鱼缸监测控制系统。本文首先对国内外水族养殖设备进行调查研究,针对现有水族养殖设备存在的使用不便、
黄瓜花叶病毒(Cucumber mosaic virus,CMV)是百香果病毒病中的主要病原,为百香果的种植、培育和果实品质带来了严重影响,对百香果产业造成了巨大威胁。至今市面上还没有防效较高的抗CMV药剂,且目前未有它对果实品质具体影响的研究报道,导致百香果CMV的防控研究成为了一大难题。因此,本文先以百香果(紫香一号)幼苗为实验材料,建立室内CMV-百香果苗活体筛选模型;再通过室外田间防效实验
随着传统中式火腿产业的不断发展,有关火腿方面的研究逐渐深入,但主要集中在以传统加工工艺为基础的品质分析,而针对目前火腿原料肉初始卫生品质的检测及原料与产品风味品质关联性的相关研究文献较少。本研究建立了盘县地区火腿原料表面菌群结构与气候条件等理化因素相关性分析,基于盘县火腿加工工艺,开展白酒提高火腿原料初始卫生学品质的工艺及探讨白酒对火腿风味的影响。主要内容如下:1、火腿原料肉表面微生物菌群结构分析
随着汽车发展模式的转变,汽车市场发生了重大变革,随之而来是汽车消费人群年龄组成、购车观念以及审美体验的变化。“以人为本”的汽车内饰设计概念已成为企业应对市场竞争的有力手段,其要求设计以用户的使用体验为中心,满足用户需求。色彩作为对用户感性认知影响最大的设计因素之一,是当前汽车内饰设计的重点。但在传统的内饰色彩设计中,主观评价所带来的随机性与误差难以避免。为获取更加客观准确的用户感性认知信息,本文引
玻璃幕墙以其自重轻,美观效果好的特点,迅速成为现代化都市高层建筑外墙的主要形式之一。然而近些年来,由于玻璃幕墙面板脱落造成的事故频频发生,其安全问题越来越引起人们的高度重视。常规的人工检测,效率低,成本高,并且高层建筑环境复杂,极易对人工检测结果产生干扰,甚至引起安全事故。因此研究设计一套面向玻璃幕墙检测在线信号采集系统尤为重要。本文是面向玻璃幕墙检测设计的在线信号采集系统,该系统包含数据采集平台
随着人工智能的快速发展,近年来人脸表情识别在安防智能监控、临床医疗检测、商业营销推荐、网络教育等多个方面都有重要应用,研究准确的表情识别技术具有重要意义。由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为人脸表情细粒度识别中的关键问题。在过去的几年中,基于卷积神经网络的面部表情识别取得了出色的性能,其中训练和测试数据通常被认为具有相同的分布。但是在实际情况中,这种假
随着影视行业的飞速发展,网络平台已成为大众获取影视信息的重要手段,但普遍存在信息过载的问题。个性化电影推荐可以帮助用户过滤冗余数据,从海量影视信息中获取高质量的电影信息,发掘感兴趣的电影。传统的推荐算法在解决数据稀疏和冷启动问题上仍有很大的改进空间,所以在推荐算法中使用一些辅助信息改善上述问题成为如今推荐系统研究的热点。知识图谱作为一种新兴的辅助方法,为推荐系统的改进提供了新途径。因此,本文针对电