基于Key-Value倾斜模型的Spark动态数据分区算法

来源 :北京邮电大学 | 被引量 : 7次 | 上传用户：crylion

【摘要】

：

随着互联网的蓬勃发展,数据量呈现出几何式的增长,在处理海量数据时,单机的计算性能难以支撑作业的需求,往往需要分布式集群来完成相应的计算工作。Spark是一种高性能的分布式数据处理框架,可以利用集群的内存,提高数据处理的效率。在分布式的环境下,当数据倾斜发生时,会使集群中各个处理机上分配到的数据量不均衡,某一台或几台机器所需处理的数据量过大,而其他机器只分配到少量数据,导致集群中的资源得不到充分利用

【作者】

：

阎逸飞

【出处】

：

北京邮电大学

【发表日期】

：

2019年01期

【关键词】

：

数据倾斜分区算法负载均衡 Spark

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技术领域,包括主机、控制电路和计算机三部分组成,主机包括由棱镜。敏感膜敏感芯片、半导 Ue*M#

其他文献

企业中层管理人员的选拔研究

中层管理者在企业内部管理中起到承上启下的作用,他们不仅是企业的决策者,也是企业决策的执行者。中层管理人员的工作能力、敬业精神和综合素质对企业的发展有着极其重要的影

期刊

企业中层管理人员选拔

叶面喷施铁锌肥对甘薯产量与品质的影响

ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技

学位

甘薯生物强化铁锌肥氨基酸铁锌肥高铁还原酶(FCR)

印度对中国“一带一路”倡议的态度演变、动因及应对

自中国提出"一带一路"倡议以来,印度始终没有加入。印方态度从初期的观望、疑虑演变到中后期的对冲、反对。不过从近期印方政界、军界、外交界、战略界的反应来看,印方的态度

期刊