论文部分内容阅读
异构Hadoop环境中，每个节点的处理能力各不相同，且集群中的节点会不断增加和删除，随着作业量的增大，负载倾斜会越来越明显。显然，负载均衡也成为影响Hadoop集群性能的重要因素之一。针对异构Hadoop环境中MapRe-duce任务调度，提出了一种新的负载均衡算法。该算法充分利用节点性能和当前的计算资源，根据集群负载平衡度量值进行任务分配，将任务分配给适合的节点，使集群负载逐渐趋于平衡，以提高集群节点利用率。由于Hadoop集群中各节点通过网络连接，以节省网络传输代价，因此在负载均衡调度时，根据数据分布