基于ALS算法的推荐系统研究

来源 :武汉邮电科学研究院 | 被引量 : 1次 | 上传用户:lcg512
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代背景下,网络产生的数据爆炸式增长,用户想获取符合个性化需求的数据信息变得十分困难。推荐系统是解决这一问题的有效方案,但是传统的数据存储和计算无法满足对海量数据的处理,所以推荐系统应运行在分布式的环境上。分布式环境部署的Spark使用内存对计算中间结果进行存储,可以快速的执行迭代算法,计算性能优秀,是推荐系统首选的计算框架。推荐算法是推荐系统研究的重点,但传统的ALS推荐算法忽略了经过时间的推移用户兴趣的会发生偏移的问题和物品特征出现频率会影响推荐结果的问题,导致推荐误差的增大。另外,传统的计算框架Hadoop Map Reduce也无法满足推荐系统实时性的需求,仅使用单一的推荐算法也无法兼顾准确性和实时性。针对以上问题,本文首先深入研究了Spark的架构和底层原理以及常见的推荐算法,然后针对传统ALS算法的问题和单一推荐算法问题,提出了改进ALS算法和改进的基于物品的协同过滤推荐算法的组合算法。在ALS算法改进方面,本文将时间因子和物品特征因子加入ALS算法中进行融合加权并通过Spark计算框架进行实现,对比了改进前后ALS算法的RMSE变化。在基于物品的协同过滤推荐算法方面,使用修正的余弦相似度代替传统的余弦相似度,并增加归一化因子改进相似度计算,均衡了热门商品和非热门商品间的相似度,最后对比了算法改进前后准确率和覆盖率的变化。在组合推荐算法设计方面,为了解决单一推荐算法的不足,本文分析了各个算法的优点和不足,将ALS算法和基于物品的协同过滤算法结合使用,设计了离线和实时结合的组合推荐算法。实验表明,在ALS算法改进方面,改进后ALS算法的RSME比改进前降低了6.2%,推荐结果的误差更低。在基于物品的协同过滤推荐算法改进方面,改进后的算法比改进前准确率提高了1.68%,覆盖率提高了9.28%,覆盖率有较为明显的增长。在组合推荐算法设计方面,组合后的推荐算法的RMSE比本文改进ALS算法低3.9%,比本文改进基于物品的协同过滤算法低17.4%,组合推荐算法在算法改进基础上进一步降低了推荐误差。对比前人改进的算法,本文提出的改进ALS算法和组合推荐算法RMSE更低,在减少算法的推荐误差方面有进一步的提升。
其他文献
为了厘清新的气候期(1991-2020年)陕西北扩区苹果气候适宜种植区的精细化分布,揭示该区域苹果可发展种植潜力,本文基于陕西苹果产区气象观测、数字高程模型、耕地确权等多源数据资料,综合考虑陕北山地苹果种植的气候与立地条件需求,选取年平均气温、年降水量、6-8月空气相对湿度、6-8月平均最低气温、1月平均气温、坡向、坡度共7项因子作为区划指标,采用多元回归方法进行各气候因子空间化模拟推算,基于模糊
期刊
作为人机交互的关键技术,语音合成是人工智能领域的重要研究方向之一,基于深度学习技术的语音合成方法也日益成熟,其核心是建立文本到语音的非线性关系模型,实现文本序列和语音频谱帧的特征映射关系。然而当前主流的语音合成模型面临着高质量单一音色训练数据需求较大和供给不足的矛盾以及当合成长文本时出现的重复读音、遗漏读音等鲁棒性问题。针对语音合成领域当前存在的高质量单音色语料缺乏和长文本合成鲁棒性较差的问题,本
学位
中文公司名实体识别是命名实体识别的一个细分领域。中文公司名实体识别是对企业的曝光率、知名度、运作状况等信息进行自动化分析的基础,在新闻、财报的自动化分析中具有重要意义。但是,目前的中文公司名识别遇到了很多难点,导致识别率偏低。本文针对这些难点,分析了各个模型的优劣,并针对性地搭建了测试语料库。本文的主要工作如下:(1)针对中文文本缺少分隔符以及中文一词多义现象常见的情况,本文使用BERT词向量模型
学位
三维人脸重建技术在信息安全、日常生活中的应用已经得到了广泛部署,同时解决由于生成时间复杂度、三维点云数据质量等因素,影响三维人脸生成质量的问题仍然是一个技术难点,本文针对现有三维人脸重建算法存在的问题展开研究,具体研究内容如下:(1)针对现有三维人脸重建算法中,由于三维点云数据不密集,造成三维人脸生成质量不佳的问题,本文提出了区域色彩迁移算法。该算法先标注色彩填充区域,并在标注区域内部对填充色块进
学位
肌电模式识别是一种先进的智能信号处理技术,已被认为是一种可靠的用户意图分类的重要方法。目前相关的研究报告了在实验室里的高分类正确率,但在临床应用方面仍不能令人满意。其中一个重要的原因是,EMG-PR方法的稳健性仍然不够强,无法应对许多问题,如日常使用中的电极移位,肌肉疲劳,以及力度的变化。其中,力度的变化是影响EMG-PR方法性能的关键问题。因此,提高肌电模式识别方法的抗力变化的鲁棒性就显得尤为重
学位
为了让人们能够从大量的文本信息中准确地获得关键性的内容,文本摘要技术被广泛关注。随着自然语言处理和深度学习技术的发展,很多基于深度学习的文本摘要方法被提出。本文通过对现阶段文本摘要模型进行研究,发现了针对中文的文本摘要模型会出现割裂语义,生成摘要不通顺,冗余信息过多,无法有效处理长句的问题。针对以上问题本文提出了一种抽取-生成式中文文本摘要模型,具体研究工作如下:(1)本文构建了适应中文的基于改进
学位
由于雷达设备具有不接触性和信号保密性高等特点,使得雷达设备被广泛应用在居家养老、探测、搜救等领域,因此应用环境对雷达信号的处理提出了很高的要求,传统的信号时频滤波和特征提取,需要从时域变换到频域,再反变换到时域,这样的流程不利于并行操作,存在时间的滞后,本文提出了一种基于超宽带雷达的双通道输入跌倒信号检测方法,避开复杂的信号处理过程,只在回波信号时域的通道上做一次快速傅里叶变换和一次奇异值分解,在
学位
随着移动互联网的快速发展,针对社会实事,社交平台上会出现大量的议论,这些议论文本存在数量大、话题多、结构口语化和语义信息不足的特点,特别是一些隐式情感语句,会存在暗讽、反话等语言方式,其情感特征并不明显,这些特点对传统的情感分析方法提出了较大的挑战,实验表明,单纯的文本序列信息无法满足隐式情感分析的需要。本文主要围绕着隐性情感的极性判别任务,在传统的仅仅依靠序列特征进行分类的基础上,通过引入语法结
学位
随着科技的进步,光器件对小型化和集成化的要求越来越高。与传统的光学元件相比,二维的超表面具有独特的电磁响应特性,平面结构意味着制造工艺简单,还可以通过使用不同尺寸、不同形状的结构单元,使用不同的排列方式等,实现对光的强度、相位、波长和偏振等特性的调控。在纳米光学领域,超表面已经受到了人们的广泛关注。通过将纳米颗粒按一定的周期组成阵列,单个粒子的局域共振与周围粒子之间的电磁耦合会产生一种新的集体响应
学位
在我国种植业发展新规划的时代背景下,“果树上山上坡,不与粮争地”的果业发展方针使山地苹果成为苹果产业发展的重要方向。然而,因山地独特的立地条件和气候环境,导致病虫害发生种类和规律不同于其他果区。本文以陕西榆林地区为例,概述了山地苹果主要病虫害发生种类及综合防控技术,为山地苹果安全生产提供技术支撑。
期刊