基于Spark的电商用户行为分析系统的研究

来源 :沈阳理工大学 | 被引量 : 0次 | 上传用户:yaoyao2048
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网应用的规模飞速扩大,所产生的信息量呈指数级上升,对于海量数据的挖掘与利用变得越来越重要。随着互联网电商平台竞争越来越炙热,针对如何增加流量、提高商品热度等与电商用户行为相关的数据挖掘的研究,已经成为必然。本文基于大数据技术,结合电商用户行为分析的相关方法,通过对各大电商企业进行需求分析和数据调研后,设计了一个电商用户行为分析系统。针对传统的大数据处理框架Hadoop在执行计算任务时抽象层次低、运行速度慢、无法实时计算等问题,采用了一种基于内存迭代式计算的分布式框架Spark,结合Hadoop框架中的分布式文件存储技术,使所设计系统具有了实时分析、快速计算和兼容性强等特点。系统采用聚类算法K-Means++完成电商用户会话行为数据分类,结合用户基本信息,深度挖掘不同用户的浏览、下单等行为。通过编写页面流匹配、二次排序等算法对数据进行计算,实现对离线日志数据的挖掘与分析。在实时数据流处理方面,通过设置时间、次数阈值的方式实现动态黑名单机制,并以此过滤恶意流量;采用开窗函数以异步方式统计实时广告热度、预测热门广告的变化趋势,以辅助企业决策。在测试环节,通过设计测试用例的方式,对功能实现、性能需求以及算法调优进行测试。实验结果表明,改进后的K-Means++算法可以优化簇心的选择策略。同时基于Spark框架的电商用户行为分析系统能够明显提升运行的速度与稳定性,增加了数据处理效率。
其他文献
碘熏手印显现法适用于司法实践中常见的许多渗透性、非渗透性客体上的汗潜手印和油潜手印,是一种无损显现法,如果一种方法显现不成,还可以用别的方法重复显现,因此在基层实践中一直发挥着重要作用。通过研究碘熏手印的显现原理,综述了碘熏手印的应用进展,展望了碘熏手印在司法实践中的应用前景。
<正>中央全面深化改革委员会第二十七次会议审议通过了《关于深化农村集体经营性建设用地入市试点工作的指导意见》,并提出要坚持同地同权同责,探索解决改革中的深层次问题。积极探索实施集体经营性建设用地入市制度,推动集体土地与国有土地“同地同权”,是建立健全城乡统一的建设用地市场的重要方面,有利于城乡要素合理配置和土地要素市场化配置。
期刊
研究目的流行病学调查显示超过80%的人一生中都会经历颈肩痛(neck and shoulder pain)或者下腰痛(low back pain),颈腰痛对人们的生活和工作造成了巨大的影响,一般认为颈腰痛主要是由椎间盘退变(intervertebral disc degeneration,IDD)发展而来。然而,由于对椎间盘退变的机制研究仍不全面,使得临床治疗一直处于被动,非手术生物治疗应用十分缓
目的 探讨呼吸训练器联合呼吸操对稳定期慢性阻塞性肺疾病患者肺功能的影响。方法 选取2019年8月—2020年8月经药物治疗后稳定期的慢性阻塞性肺疾病患者80例,随机分为对照组和实验组,每组各40例。对照组采用传统缩唇与腹式呼吸训练,实验组采用三球式呼吸训练器配合全身呼吸操锻炼,治疗三个月后比较两组患者的肺功能恢复情况和生活质量情况。结果 实验组患者的FEV1、FEV1/FVC、MVV水平均优于对照
报纸
服务破坏已成为服务业的普遍现象,但国内关于此类行为影响因素的研究较少。本文研究以资源保存理论为基础,旨在调查辱虐管理对服务破坏的影响机理,考察情绪耗竭的中介作用,以及组织支持感对辱虐管理和情绪耗竭的调节作用。通过问卷和访谈法,对220份有效答卷进行分析。实证研究结果表明,辱虐管理对服务破坏有显著正向影响,并且情绪耗竭在两者之间起正向中介作用。当员工经历辱虐管理,情感资源会受到损耗,这促使员工做出服
恶劣环境条件和失效因素复杂多样化对管道设计和运行安全性提出更高要求。研究了GB 50251—2015对于管径1 422 mm超大输量输气管道的适用性。GB 50251—2015壁厚设计方法采用了许用应力准则和设计系数的理念,不能真实反映管材性能及管道施工与运行维护水平。阐述了国内外管道可靠性设计与安全性评价方法研究现状,提出根据可靠性方法进行输气管道安全性评价的建议。以西气东输二线和中俄东线天然气
<正>边卖菜边教英语会是什么样的场景?随着“卖牛排顺便教英语”视频片段的流传,一个名叫董宇辉的年轻人火了。董宇辉,出身农村,相貌平平,曾是新东方英语名师,被称为“中关村周杰伦”,现在是一名销售农产品和书籍的主播,因在短视频平台“双语带货”而迅速走红。离开深爱的教学岗位之后,董宇辉也严重怀疑过自己的价值。他在痛苦和纠结中慢慢调整,并最终重新找回了自己——继续做传递知识的人。
期刊
<正>习近平总书记在党的二十大报告中指出,新时代新征程中国共产党的使命任务是“以中国式现代化全面推进中华民族伟大复兴”,其中重要的战略性举措之一就是“实行更加积极主动的开放战略”,“形成更大范围、更宽领域、更深层次对外开放格局”。从党的十八大提出的“构建开放型经济新体制”,到十九大提出的“全面开放”,再到二十大强调的“高水平对外开放”,对外开放已成为在新时代全面深化改革、推动高质量发展、加快构建新
期刊