Hadoop是一个分布式计算的解决方案,随着互联网的快速发展,数字新一代开始崛起,人们的消费生活模式也跟随着不断改变,电子商务和社交网络开始成为人们生活中重要的组成部分,与此同时庞大的数据量也随着领域的发展产生出来。在Hadoop平台上能编写应用,这些应用能运行在分布式系统上,可以用来处理规模比较大的数据。本文深入分析了Hadoop调度算法研究的的近况,对于Hadoop调度算法的一些问题,例如执行效率低下、资源利用率不高和无法适应异构环境进行了研究。首先,对Hadoop算法FIFO和作业分类算法的优缺点进行了详尽的分析,并具体针对单队列资源利用率低下和不能适应异构环境的问题进行了改进。把作业划分成不同队列,然后根据作业的截止时间分配不同的时间片轮流执行不同队列里面的作业,提出了基于多队列和轮转的Hadoop调度算法。该算法提高了集群效率和资源利用率。其次,对Hadoop原生算法Fair和基于任务时间的算法的优缺点进行了详细的分析,并具体针对小作业任务的“饥饿”问题和系统资源利用率低的问题进行了改进。该算法根据以下方法动态的估计作业的剩余执行时间,首先计算集群环境下任务以前的执行率,然后用指数平滑预估作业在下一次执行中的执行率。估计剩余时间后对Map和Reduce阶段二者的差值进行分析,对作业进行不同的排序,提出基于任务时间和指数平滑的调度算法。该算法解决了小作业饥饿及资源效率低的问题。最后,搭建Hadoop运行环境,实现了MQWR算法和TMF算法。并且把这两个算法与Fair调度算法和Task Schedule Deadline调度算法对比,说明本文提出的算法的有效性。