数据中心为大数据存储和大数据处理提供了硬件基础。在数据中心内部,多台计算节点通过高速网络互联为分布式计算系统,并广泛用于大数据处理等应用。近年来,面向大数据处理的数据并行计算平台（如Hadoop和Spark等）受到了来自于学术界和工业界的广泛关注。大数据处理平台的调度技术会直接影响大数据处理作业的执行效率。本文从数据中心用户和数据中心管理者的需求出发,围绕大数据处理作业的资源分配和作业调度,研究以下问题:针对大数据处理作业的网络流协同调度问题、由于分配过量计算资源而延长作业完成时间问题、面向大数据处理的计算集群的系统吞吐量受限问题。论文的主要工作和创新成果包括以下方面:针对大数据处理作业网络流协同调度的问题,研究了数据并行计算过程中网络流传输的依赖性,提出了紧急度感知的大数据处理作业的协同调度方法。该方法通过分析大数据处理作业的执行流程图,将存在依赖关系的计算阶段和网络流抽象为新的调度对象,称为“分支”。在大数据处理作业的执行流程图中,利用依赖和同步等结构特点来计算每个分支的调度紧急度。根据紧急度,设立相应的优先级的队列来调度网络流的传输请求,从而完成网络流和作业的协同调度。与已有的方法相比,该方法有效地利用作业的依赖和同步等结构特点来协同调度网络流和作业,并解决了传统网络流调度方法和传统作业调度方法中的不一致问题。该方法从应用层面来调度网络流,不需要特殊的网卡、交换机等硬件支持。实验表明,该方法能够有效地减少作业平均完成时间,尤其是对依赖和同步等结构特点明显的大数据处理作业性能提升更明显。针对大数据处理作业分配过量资源而导致作业完成时间延长的问题,研究了大数据处理作业的作业完成时间随着计算资源参数而变化的趋势,提出了大数据处理作业的计算资源参数调优方法。计算资源参数设置过高,可能会增加网络通信等计算集群内部的开销,可能会延长大数据处理作业的完成时间。该方法的基本思路是通过预测大数据处理作业的执行时间来确定近似最佳的计算资源参数。大数据处理的计算平台会使用并行计算的算子（如Map和Reduce等）来处理大数据文件;因此,算子执行所产生的时间开销最终成为大数据处理作业的执行时间。受此启发,采用了深度学习模型来对大数据处理作业的执行流程图建模,学习算子对作业完成时间的影响,并用于预测作业完成时间。和已有的预测模型相比,基于深度学习的预测模型可以实现更好的预测精度。为了训练预测模型,进一步研究并解决了训练预测模型时遇到的样本稀缺问题。由于样本作业的执行时间很长,采集样本会产生巨大的采样开销。为了采集大数据处理作业的样本,设计了自适应调整采样步长的采样方法。该采样方法优先采集近似最优分配的作业样本,从而减少样本采集的时间。此外,从不同大数据应用采集的样本存在分布差异,这不满足机器学习中独立同分布的条件;因此,采集自不同应用类型的样本不能被用于训练同一个预测模型。针对该问题,设计了采用基于深度迁移学习的训练方法。通过调整样本的分布差异,该方法使得不同应用类型的样本可以被用来训练同一个预测模型,缓解了样本稀缺的压力。针对大数据处理平台的系统吞吐量受限的问题,研究了现有调度策略的局限性,总结出作业完成时间和系统吞吐量之间的关系,提出了吞吐量优化的作业调度方法。该方法的基本思路是以一种高“密度”的方式将特定的作业打包起来,以便提高并行作业的执行速度。该方法可以根据作业的资源使用情况和作业的完成时间来计算吞吐量最大化的调度决策,从而减小作业完成时间,增加系统的吞吐量。在基于谷歌集群数据的实验中,进一步观察到被打包在一起的作业在完成时间上存在较大的差异,这会影响单位时间内完成的作业数量。为此,设计了一种作业完成时间对齐的方法来减小这种差异,该方法可以进一步提升系统吞吐量。和现有的打包调度方法、最短作业优先策略相比,该启发式的作业调度方法有效提升了系统吞吐量。