【摘 要】
：
MapReduce并行计算模型在大规模分布式数据处理中应用广泛,但该模型不能很好地支持连接操作,特别是面对倾斜数据时,原有的分区算法容易造成处理节点间的负载不均衡。针对这一
【基金项目】
：
国家自然科学基金项目（61362012）
论文部分内容阅读
MapReduce并行计算模型在大规模分布式数据处理中应用广泛,但该模型不能很好地支持连接操作,特别是面对倾斜数据时,原有的分区算法容易造成处理节点间的负载不均衡。针对这一问题,提出一种基于key代价的负载均衡等值连接算法,对Map端中间结果进行采样,根据采样结果计算每一key值的负载代价,并在此基础上,设计一种动态划分函数,对不同的key值按照负载代价均匀划分到各个计算节点,实现了负载均衡。实验结果表明,在同构集群下,提出的算法在负载均衡方面具有较好的效果.
其他文献
翻转课堂的实施有助于学生深度学习目标的达成。近年兴起的BOPPPS模型为翻转课堂的实施提供了基本框架。本文以"计算机系统基础"课程为例给出了BOPPPS模型下的翻转课堂教学设
文章根据2008-2012年公募基金季报数据,通过图论中偶图及其映射变换,构建了投资者信息关联网络,从理论上阐释了信息关联的内涵及其对投资收益的影响。在研究中引入信息关联强
利用2014年中国网络诈骗研究报告中的数据,针对中国大陆31个省级尺度的地区,结合相关资料,最终选择城镇人口比重、网络普及率、各省GDP、各省人口总数、男性占比作为解释变量
食品安全已经成为一门预防食物中毒、控制疾病隐患、提高食品生产与销售安全性的科学。本文在简要阐述食品风险问题基础上,侧重对食品安全风险防范的具体对策进行探讨。
凸函数及其推广是分析不等式研究中的一个热点,它在纯粹数学和应用数学的众多领域中具有广泛的应用.推广了凸函数的概念,定义了广义算子s-预不变凸函数,然后讨论了广义算子s-
农地适度规模经营可以克服家庭联产承包责任制下小农经营的缺陷,推动我国农业现代化发展.但现有相关研究视野较窄,计量标准各异,研究结果较为片面,普遍指导意义不强.因此本文