【摘 要】
:
近年来,数据的指数型增长使用户在大数据的浪潮中迷失了方向,用户不得不浪费大量时间以获得有用信息,这就是信息超载问题。为了将人们从海量信息的浪潮中解救出来,科学研究人员着力于研发能从用户的历史反馈信息来推测出用户的可能喜好并推荐给用户的技术,也就是今天研究领域所说的推荐系统。其中推荐系统的核心是推荐算法,协同过滤推荐算法(Collaborative filt ering,CF)已成为当今最受欢迎的推
论文部分内容阅读
近年来,数据的指数型增长使用户在大数据的浪潮中迷失了方向,用户不得不浪费大量时间以获得有用信息,这就是信息超载问题。为了将人们从海量信息的浪潮中解救出来,科学研究人员着力于研发能从用户的历史反馈信息来推测出用户的可能喜好并推荐给用户的技术,也就是今天研究领域所说的推荐系统。其中推荐系统的核心是推荐算法,协同过滤推荐算法(Collaborative filt ering,CF)已成为当今最受欢迎的推荐算法之一,其应用范围极其广泛。但面对数据的爆炸性增长,该算法在应用中依然存在着由于数据稀疏性导致的推荐准确率不高问题以及由于数据规模过大导致的推荐效率低问题。为此,本文基于spark平台对推荐算法中常用的协同过滤推荐算法进行改进优化,以适应目前各研究应用领域对推荐算法的更高需求。本文的主要研究工作如下:首先,本文系统性阐述了推荐算法及spark平台的国内外研究与发展现状。其次研究了推荐算法的分类、技术架构等核心技术,然后详细说明了推荐算法中使用最为广泛的协同过滤推荐算法以及近传统神经网络模型SAE模型。其次为了克服协同过滤推荐算法只能提取交互矩阵中线性信息挖掘方式的不足,掌握了基于协同过滤思想并选择SAE模型作为基础网络框架,提出一个新的推荐系统模型。并在模型的前向传播过程中提出一种情景化的时间权重,在计算用户评分相似度时,加入时间权重,以表示过去时间对用户当前行为的影响力随时间推移和不同背景而变化。除此之外,本文在反向传播阶段还提出一个注意力策略,通过注意力单元的引入来帮助系统重视用户们更喜欢,更值得向用户推荐的物品,从而提高用户满意度。最后考虑到当数据规模较大时,本文提出的改进的神经网络推荐算法在数据预处理、训练参数等部分存在较大的计算量,基于传统的单机集中式计算平台无法满足用户对推荐速率上的要求,并将该算法在spark平台上进行设计与实现,实验结果表明并行化的处理方式能够更好提升推荐算法的性能和速度,更好满足现实用户需求。
其他文献
在现代雷达电子对抗的信息战场上,面对信号高度密集、新体制雷达日益复杂的电子对抗环境,以常规参数为基础的雷达辐射源信号分选识别已经难以取得令人满意的效果;基于数学变换域的雷达脉内特征提取方法虽然有很高的研究热度,但建立有效的雷达信号序列表征分析模型仍然是一个难点,这不仅直接影响了辐射源信号分选和识别的性能,还给现代化的雷达情报侦察带来了新的挑战。因此,在复杂的电磁环境中,如何探索和研究雷达辐射源信号
深度强化学习算法将传统强化学习与深度学习两者结合,是目前解决高维决策任务的一类典型算法,已在各领域广泛应用并取得了突破性进展。但是传统的深度强化学习在面对长时间间隔决策游戏以及长间隔决策中需要智能体定点导航的长时间间隔游戏表现不佳,本文针对此问题做出了如下研究:本文提出了融合门循环单元的深度循环Q网络以解决在智能体长时间间隔决策中表现不佳的问题。智能体只能通过有限的画面做出的决策,会出现之前游戏画
传统的物联网访问控制模型大多是基于集中式的可信实体构建,存在决策过程不透明、动态扩展性差、设备拥有者自主性差等问题,无法满足轻量级、海量异构、动态性接入的物联网复杂计算环境。随着区块链技术的发展,因其具有去中心化、防篡改、可追溯等特性,为物联网访问控制实现安全、高效的数据交互和访问决策提供了新的解决方案。因此,本文以ABAC模型为基础,提出一种基于区块链的物联网属性访问控制模型。通过将区块链技术和
随着大数据、互联网技术和人工智能的迅猛发展,推荐系统在解决信息过载与在线购物和在线内容服务上起着至关重要的作用,其有效性取决于推荐模型或算法对个体用户的独特兴趣和偏好的理解能力。然而,推荐过程是一种用户和系统之间的复杂交互行为,传统的推荐方法经常遇到数据稀少和缺乏互动性等问题。为了解决这些挑战,本论文提出了一种基于深度强化学习的推荐算法研究,主要通过构建基于马尔科夫决策过程的动态推荐模型。它能够在
随着以比特币为代表的数字货币相继问世,其底层的区块链技术越来越受到人们的关注与研究。当前区块链技术被广泛地看作是继物联网、大数据、云计算、人工智能之后最具颠覆性的前沿技术。区块链技术的兴起,它的发展已经进入国计民生的各个领域,但在实际应用过程中,每一条区块链都是一个独立发展的小型生态圈,所有的交易与操作都仅限于链内进行,因而产生了数量庞大的相互异构且独立的区块链。虽然这些区块链能够用于不同的场景,
随着硬件技术的不断进步,遥感技术也得到了极大地发展,人们可以获得具有更高质量的遥感图像。遥感图像在民用和军用方面都有着较为重要的意义,因此在遥感图像中如何更好地进行目标检测任务是不可忽视的问题。在遥感图像中,存在着诸多问题,包括图像中小目标对象多、图像中目标对象尺度不一、图像背景较为复杂以及图像中目标对象分布不均等问题。这些问题为遥感图像领域中的目标检测任务带来了困难,因此,如何在遥感图像中快速定
金融机构的信贷客户风险分析是典型的分类问题,且数据不平衡问题广泛存在于信贷客户违约风险决策中,影响风险客户的有效识别。目前,国内外商业银行已广泛将机器学习和深度学习用于信贷风险分析,但两种分类模型都存在面向信贷领域不平衡数据分类场景中的不足。常规的机器学习模型虽然构造简洁、可解释性强,在金融行业中广泛应用,但模型效果没有深度学习分类模型效果优秀。而深度学习虽然具有较强的分类表现,但是其内部分类过程
随着5G、新一代人工智能、大数据和云计算等技术的发展,健康医疗行业中的信息技术的发展迎来了史无前例的机遇。医疗与信息化技术的持续融合,为健康医疗大数据的涌现带来了新的机遇。近年来,由于医疗大数据较高的战略价值,国家对医疗大数据的重视程度越来越高。但医疗大数据中包含患者的各类隐私信息以及医疗信息系统(Hospital Information System,HIS)易受到外部攻击或内部人员过度访问造成
本文以辛格政府和莫迪政府两任政府时期作为时间主线,通过对制造业的全要素生产率水平的分解,分析印度制造业为何发展受阻。通过研究发现,一是印度国内繁琐复杂的制度环境使得政府偏向先发展资本密集型制造业;二是分解全要素生产率以及实证回归的结果显示,资本密集型制造业和劳动密集型制造业对经济增长的拉动作用相差无几,而劳动密集型制造业的生产率水平相对平稳;三是对比辛格政府和莫迪政府两任政府所出台的产业政策,发现
近年来,“印太”地区成为了大国博弈的战略性区域,世界各国围绕该地区进行了不同的地缘战略构想。2017年,特朗普正式提出“印太战略”,将目光锁定在印度洋地区,同年与日本、印度、澳大利亚三国确立了四边合作机制(QUAD),在经济、外交、军事等不同领域进行了双边、三边及四边合作。在“印太”地区,印度是不可忽视的大国角色,在美国的拉拢下,出于共同利益的考量,印美双边战略关系逐渐加深,2020年,两国正式确