当今时代,大数据为企业带来精准分析和生产指导的同时,也给存储和计算带来了巨大的压力。为了满足海量数据的处理需求,大数据计算应运而生。大数据计算包含多种计算模式,不同计算模式的平台在集群的任务调度和资源管理层面上都有自己的解决方案。YARN作为一种通用的任务调度和资源管理平台,能够支持不同计算模式的平台在其上运行,从而使得集群的物理资源能够在统一的平台下进行管理。GPU相对于CPU最大的优势是提供高性能的并行计算,传统的CPU运算很难保证效率。目前,以YARN为代表的分布式资源管理平台仍然具有一定的局限性。一方面,虽然YARN提供了完整的第三方平台接入解决方案,但是目前第三方平台仍集中在一些大数据有关的平台上,缺少对机器学习相关平台的支持。另一方面,YARN中仅支持CPU和内存两种资源的管理,不支持GPU资源管理,同时缺少异构资源环境下的资源调度策略。为增强GPU对机器学习并行计算的支持,本文设计并实现了基于YARN的GPU训练平台,对YARN底层资源模型进行优化改进,把GPU资源加入底层资源模型,完成YARN对GPU资源的管理和调度支持。从而实现支持GPU调度的机器学习分布式训练平台。本文具体工作主要分为以下四部分:(1)对现有的分布式调度架构和机器学习平台进行对比分析,完成对本文平台的技术和架构选型。(2)基于选型结果,设计基于YARN的GPU训练平台。具体包括对基于YARN的GPU训练平台的架构、应用抽象与协议、应用执行流程的设计与实现。(3)在分布式训练平台的基础上,设计与实现YARN的GPU资源管理与调度机制,完成GPU-FIFO调度器的设计。(4)针对任务提交等待时间和任务运行时间两个性能指标,对平台进行性能测试,比较GPU-FIFO调度器相对原始FIFO调度器的调度性能以及在YARN中运行MPI分布式任务相对直接在物理机环境下运行MPI分布式任务运行时间上的损失。测试结果表明,基于YARN的GPU训练平台能够在不影响YARN原始调度性能和任务执行速度的情况下,支持在YARN上运行MPI分布式训练任务。使用GPU-FIFO调度器相对原始FIFO调度器训练效率明显提高,达到了预期要求。