基于Spark的移动平台广告数据分析系统设计与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:hjjnet
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动APP被广泛应用于生活的方方面面,丰富了人们的生活方式,移动应用每天产生海量的日志数据,这些数据蕴含着大量的用户相关信息,挖掘数据中隐藏的用户行为模式,把握用户的趋同性,同时理解用户的偏好性,一方面能够帮助移动服务提供商提高自己的业务水平,另一方面能使用户获得更好的产品体验。因此,移动数据的分析和推荐有着宝贵的研究价值和重要的现实意义。由于海量信息的过载,移动推荐系统要处理的数据往往有巨大的规模,单机设备的处理能力对此显得力不从心。近年来,业界对大数据处理平台的研究十分流行。Spark是这些大数据平台中的佼佼者,凭借自己基于内存的计算方式,以及灵活的抽象数据结构,Spark在众多大数据处理框架中脱颖而出,成为工业界和学者研究的新宠。本文首先深入探讨时下流行的大数据处理相关技术,包括数据采集器Flume,消息缓存系统Kafka,海量在线查询系统Druid.io,以及用于离线处理大规模数据的分布式计算平台Spark系统;同时本文介绍部分传统的推荐算法,并分析移动互联网与传统互联网的异同点,为整个系统的第三个模块设计和实现提供了理论基础;最后,本文搭建分布式、高稳定性的数据发射源和中间预处理缓存机制,同时提供一个能高速聚合数据的在线查询模块以及提供推荐服务的离线处理模块,实现基于Spark框架的移动数据分析系统。系统重写部分组件源码API,定制数据通道,整合前沿的大数据实时处理技术,并在移动用户广告数据集上设计实验,通过实际案例进行系统功能和推荐效果的展示。
其他文献
由于超越荷载和罕遇地震的作用,大跨度张弦梁结构可能由此而发生整体或连续倒塌。考虑结构和抗力的不确定性,分析了在超越荷载和罕遇地震下结构的易损性。首先,基于蒙特卡洛
ADPKD是人类为之付出昂贵代价的一种全身性遗传性疾病,是引起慢性肾功能衰竭的第四位病因,在临床上以肾脏满布大小不一并不断增大的囊性液泡、最终引起肾功能进行性损害为特征
拱北口岸联检楼是迎澳门回归的重点工程项目之一.作者介绍了该工程大面积、大柱网、双向无粘结连续多跨预应力混凝土框架的结构设计.通过结构模拟试验和工程实测验证了理论分
宝鸡游泳跳水馆屋盖采用下弦为空间双曲预应力双支拉索新型张弦梁结构。为了探究该结构的变形及受力特点,以1∶5的缩尺模型为试验对象,在下弦双支拉索的两端同时施加预应力,
网络经济大潮下的网络公司到底价值几何?这是评估领域新的课题与难点。由于网络经济的历史较短,目前对网络公司价值评估尚没有公认的有效的方法。本文主要针对网络内容服务公
近年来,随着各类电力电子设备在电力系统中的广泛应用,由其引入的谐波、无功及不平衡电流等综合电能质量问题越来越受到关注。并联型有源电力滤波器(Shunt Active Power Filt
近几年来中美贸易紧张,特别是今年激烈的中美贸易战给两国经济贸易的各个方面带来了很大的影响,但这两国之间的贸易仍是世界经济贸易的重要组成部分,这两国也在长期的贸易中跟彼此形成了很强依赖关系。其中中美中小企业是中美贸易的主要组成部分,对两国来说中小企业都是重要的经济因素且占据了很高的比重,其促使两国在创新、技术和社会的各方面都取得了很大的进步。但是经营和管理一家进行中美国际贸易的企业有很多困难,除了受
测量1Cr18Ni9Ti合金钢(高温时效处理)的杨氏模量与泊松比,为热处理新工艺提供材料的弹性系数指标,为工程实际提供力学参数;采用应变电测原理和技术(应变片测量法),在试样纵向
北京地区地下水位的影响因素包括大气降水、地质、水文条件和人为因素。科学地预测构筑物使用寿命期间可能出现的最高地下水位,并以之为边界条件进行渗流计算,是确定地下结构
本文面向工程应用,对模型预测控制工程软件的关键技术、算法以及它们在生产过程中的应用进行了深入研究。从模型预测控制工程软件的实现和实际需要出发研究了模型预测控制算法