深度学习技术自21世纪以来吸引了工业界和学术界的广泛关注,并被成功应用于不同的任务场景中。深度学习技术的核心是深度神经网络模型,而深度神经网络在应用前需要进行模型训练。随着深度学习的快速发展,模型的复杂化和训练数据集的扩大化使得单机训练模式无法满足模型训练的需求,因为过长的训练周期不利于模型的快速开发部署。于是分布式深度学习训练应运而生,通过投入更多的计算节点资源开展并行化训练,有效缩短了模型的训练时间。然而,分布式训练在降低训练时间的同时,节点间频繁的消息通信也产生了额外的通信开销,限制了分布式训练所带来的性能优化效果。为了进一步提高计算资源利用率,缩短神经网络模型的训练时间,对通信开销开展有针对性的优化工作显的尤为重要。本文研究分布式深度学习的通信开销优化方法。具体地说,研究用于分布式训练过程中通信负载的截取工具,以全面地理解分布式通信过程;研究通信开销的重叠优化技术,以提高计算资源的利用率,降低通信开销所造成的性能损失;研究通信操作稀疏化技术,以降低通信开销和对更多的通信开销进行掩盖,以进一步提升分布式深度学习训练性能。本文的主要工作和创新包括以下三个方面:1.为了深入了解分布式训练的通信过程,提出了用于通信负载截取的工具Sketch DLC。Sketch DLC会记录节点中执行的每个通信操作,并为每一个节点生成独立的通信负载文件,基于得到的负载文件可以实现以下三个目的。第一,深入了解分布式训练过程中的通信模式,包括通信操作的执行顺序、通信量、通信操作之间的依赖关系等。第二,用于网络模拟仿真实验的通信负载注入,因为负载文件是基于真实的深度学习应用获取的,可以有效提高仿真实验的精度。第三,对分布式训练过程中各种类型的开销进行量化评估,从而分析不同开销之间的大小关系,以及集群规模、网络带宽、批大小等变量对不同开销的影响趋势。2.针对分布式训练过程中同异步更新算法各自的不足,提出了单步延迟更新算法OD-SGD。该算法利用计算开销对通信开销进行掩盖,通过快速开始下一次迭代训练提高计算资源利用率,优化分布式训练性能。OD-SGD结合了同异步更新算法各自的优势特征,在分布式训练过程中,同时在参数服务器端和计算节点端维护全局更新函数和本地更新函数,前者以同步的方式进行全局权重更新,而后者以异步的方式进行本地权重更新。实验结果证明,OD-SGD算法可以取得与同步更新算法接近甚至更高的模型收敛精度,但拥有更快的训练速度,甚至超过异步更新算法的训练速度。3.针对分布式训练过程中,当通信开销显著大于计算开销时,单步延迟更新算法有限的性能优化效果,提出了多步延迟更新算法SSD-SGD。该算法改进了OD-SGD以实现进一步的性能提升。相比于OD-SGD,SSD-SGD对通信操作进行了稀疏化处理,设计了新的本地更新算法。通信操作稀疏化处理后,计算节点只会周期性执行权重的取回操作,在减少纯消息通信时间的同时也大幅减少了同步开销,并且可以利用更多次迭代的计算开销对通信开销进行掩盖。新的本地更新算法利用全局梯度信息进行更新操作,并减少了对计算资源的占用。实验结果证明,在一定的延迟步数内,SSD-SGD算法在取得比同步更新算法更高模型收敛精度的同时,也获得了明显快于异步更新算法的训练速度,最高提升了110%。