随着互联网技术的迅猛发展,大规模的数据也随之产生,传统的数据存储方式已经满足不了海量数据对于存储和处理的需求。云计算平台的出现,则为海量数据带来的问题给出了一个很好的解决方案。在众多云计算平台当中,本文选取了具有诸多优点的Hadoop云计算平台作为研究对象。Hadoop平台是一个开源的、可扩展、可靠性高的分布式计算框架。作业调度算法是Hadoop平台的关键技术之一,直接关系到Hadoop平台的整体性能和系统资源的利用情况。本文首先阐述了Hadoop的背景知识,详细分析了Hadoop技术,包括HDFS和MapReduce两大核心内容,并深入研究了作业调度流程及系统自带的三种调度算法：系统自带三种算法中,先进先出算法思想简单,不适用于多用户处理作业；计算能力调度算法和公平调度算法都需要合适的参数配置,对系统管理员压力很大。而且,三种算法在面对大量短作业时,考虑到作业切换的时间花销,处理速度并不如人意。然后,本文以减少处理大规模短作业的时间,同时兼顾长作业运行时间的要求为目的,改进现有的作业调度算法,从作业角度考虑,提出了把前若干个短作业分解的任务作为一个大队列,并根据遗传算法所提供的解空间来选择运行序列,避免了短作业之间频繁的切换需要的时间开销。同时为了自适应长作业,设置了任务队列长度限制来满足需求。最后搭建Hadoop平台,并通过在平台上运行作业的实验结果,说明了面对大量的短作业,本文提出的算法比起原有的作业调度算法,在总体运行时间上有了较大的缩短。证明了提出的算法是一种有效的作业调度算法。