基于Spark框架的改进协同过滤算法

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:zxi666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网数据量的不断膨胀,单机已经无法在可接受的时间范围内计算完基于大规模数据的推荐算法,也无法存放海量的数据。利用Spark平台内存计算的优点,设计了一种分布式的基于项目的协同过滤算法,利用Spark提供的RDD(resilient distributed dataset)算子完成算法的设计。针对由于数据稀疏而导致的相似度计算不准确的问题,提出了一种利用两项目间公共用户数目进行加权的相似度计算公式,提高了最终推荐结果的准确度。为了改善计算中涉及到的数据表等值连接操作耗时太长的问题,利用自定义的Hash
其他文献
<正>一、1#导流洞的弹性波测试结果及塌方情况黄河小浪底工程1#导流洞,位于工区的黄河北岸。该处属三叠系下统(T1)岩组,岩性以紫红色砂岩及粘土岩为主,裂隙发育、断层密布、岩
会议
灰色系统理论是近年来发展起来的新型理论,它已在许多领域得到广泛的应用。本文介绍了灰色系统理论的关联分析方法,并着重研究了这一理论在家畜营养学上应用的可行性。
从新课程改革提出的物理学科核心素养中科学思维入手,阐述了辩证思维与科学思维的关系,并以"动量"的概念课为例,在课堂教学中利用合理的表征方法对学生进行辩证思维的渗透。
自动电压调节器(AVR)作为同步发电机励磁系统核心部件,其性能和状态的快速、准确自动测试,对于提高励磁系统工程保障水平有着重要的意义。该文以同步发电机Park模型为基础,采用
<正> 小麦干燥过程中质最的劣变往往会引起小麦籽粒发芽率下降和工业使用价值的降低。测定劣变的主要方法是采用发芽试验和烘焙试验。但这两种方法都很费时。本项工作的目的
针对传统的视频图像处理方法对公交车内乘客拥挤状态的检测受运动阴影、动态背景及场景光照变化等因素的影响问题,提出了一种基于改进卷积神经网络VGG-16的公交车内拥挤状态识别方法。该方法在VGG-16的模型基础上,优化全连接层层数,使用迁移学习共享VGG-16预训练模型的各层权值参数进行训练。相对于文中的传统图像处理方法、AlexNet模型、GooleNet模型以及标准VGG-16模型,改进的VGG-
随着互联网技术和计算机技术的发展,软件在各行各业的应用越来越广泛。随之而来的软件安全问题也越来越突出。在常见的软件安全测试工具中,Peach Fuzz是一款优秀的安全测试工
为改善碳纤维增强尼龙复合材料(CFRPA)的加工流动性和力学性能,采用聚酰胺胺(PAMAM)树枝状高分子作为改性剂,通过熔融共混制备出碳纤维(CF)增强尼龙66(PA66)复合材料。采用DS
提出了一种基于小波包分析的三级式发电机旋转整流器故障特征提取方法。对整流二极管常见的故障进行了分类,通过建立故障模型,仿真得到故障信号,并对各类故障后电机的励磁电
首先将迎风机制引入五点八阶超紧致有限差分(CCD8)格式,得到五点七阶迎风超紧致(UCCD7)格式,并对两种格式进行数值频散分析和精度分析;其次建立了二阶声波方程的位移场时间四