论文部分内容阅读
针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题，提出基于抽样的改进型MapReduce模型，即SMR（ Sample MapReduce ）模型．SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样，基于抽样结果，利用LAB（ leen and balance ）均衡算法对Map端输出的中间数据进行均衡分配，以改善Re-duce端处理数据负载不均衡问题．实验结果表明：改进型MapReduce模型可以有效减少作业运行时间，Reduce端输入数据达到负载均