GPU因其高并发、高带宽和低功耗的特点,已经广泛应用于高性能计算和深度学习领域。为了充分利用CPU-GPU异构集群的计算能力,最新的开源分布式计算框架Spark增加了支持GPU加速的新特性,但Flink仍不支持GPU任务调度。在集群规模有限的情况下,可以通过扩展计算节点上的GPU数量来提高集群的计算能力。但是GPU的计算能力是动态变化的,并且不同硬件架构或者不同型号的GPU的计算能力是有很大差异的。那么为了实现异构GPU之间的工作负载均衡,每个GPU被分配到的工作负载应该与其计算能力相匹配。但是目前的CPU-GPU异构分布式计算框架都缺乏有效的GPU工作负载均衡调度模型。为了有效地将GPU整合到分布式计算框架,并解决异构环境下的GPU工作负载不均衡问题,本文提出一个多GPU负载均衡调度模型——MLSM。MLSM模型主要用于异构环境下的GPU任务调度和设备资源管理。MLSM的贡献包括:（1）提出了一种细粒度的任务映射机制,可以实现了分布式计算框架的JVM任务和GPU任务之间互相映射。它通过自动任务分解方案将每个JVM任务映射为一系列更细粒度的并且可以并发执行的GPU任务,从而减小了GPU任务粒度,为GPU工作负载均衡调度奠定基础。（2）提出了一个设备资源统一管理机制。该机制可以有效地管理GPU内存和GPU异步流资源,并且降低编程模型的复杂性。设备资源统一管理机制还可以将任务数据缓存在GPU内存中,减少通信开销。（3）提出了一个基于反馈的异步流调整策略。该策略根据前一轮迭代计算结果来更新每个GPU的异步流资源,计算能力高的GPU会创建更多的异步流。空闲的异步流的数量被用来动态衡量GPU的计算能力。（4）提出了一个资源感知的GPU任务调度策略。该策略根据GPU的实时计算能力和资源状态来调度GPU任务的执行,实现异构GPU之间的工作负载均衡。最后,本文基于Spark框架实现了多GPU负载均衡调度模型MLSM,并使用几种代表性的测试用例来评估MLSM的性能。实验结果表明,MLSM可以有效地将GPU整合到分布式计算框架中,并实现异构GPU之间的工作负载均衡。