Hadoop是一个以高效的方式处理大数据的分布式框架,广泛的运用于百万级别的数据处理中,具有高可靠、高容错、高可扩展的特性。任务调度作为Hadoop的关键技术,主要涉及将计算任务分配到指定节点的问题,在提升资源利用率、缩短任务执行时间和提高吞吐率方面具有非常重大的研究意义。本文针对一些重要但目前尚未得到有效解决方法的关键问题,例如集群异构性、作业本地性和实时性等,从作业层面对Hadoop环境下资源分配问题进行了研究,提出基于作业分类的动态调度策略和基于负载的本地性调度策略。最后,通过实验来验证所提方法的有效性。具体研究工作如下:针对集群的异构性和作业的实时性问题,提出一个基于作业分类的调度策略。首先在集群的初始阶段设置两个监听器,分别用来监听作业到达消息及资源空闲消息。然后,监听器根据不同的消息类型进行对应的处理,并且将集群资源的使用情况进行保存以用于资源分配。最后,当监听器收到作业到达的消息后,根据作业的估计完成时间以及作业到达率将作业分类,把分类后的作业分配到对应的队列中等待调度。实验结果表明,该方法能有效减少作业执行时间和CPU花费时间,在提高集群高性能方面有所收获。针对数据本地性的问题,提出基于节点负载的本地性调度策略。首先,提出了负载率的概念,负载率表示集群资源使用情况,根据负载率计算出剩余资源情况。然后,对于每一个作业队列,遍历队列中的任务,如果该任务为当前节点的本地任务,优先调度该任务。如果任务为非本地任务,则保存该任务的信息,继续遍历下一个任务。最后,当本地任务全部调度完成后,根据负载率及资源使用情况将非本地任务分配给负载较低的节点执行。通过实验证明,该方法能够减少跨节点传输数据量,减少非本地任务的产生,提高本地性。