如今机器学习成为了一种从原始数据中提取结构化信息和知识的基础手段。在机器学习的研究和应用方面存在着两种趋势:更大规模的训练数据和更加复杂的模型,单台商用计算机的计算能力和存储能力无法承受训练如此大的模型所带来的计算任务,这种挑战促进了对分布式机器学习的研究。对机器学习模型进行训练需要求解一个优化问题,交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种求解优化问题的有效算法,通过分解协调过程,将大的全局问题分解为多个较小、较容易求解的局部子问题,并通过协调子问题的解而得到大的全局问题的解,借助ADMM算法可以方便地将模型训练的计算负载分布到多个计算节点。ADMM算法提供了进行分布式机器学习的理论基础,将ADMM扩展到大规模集群需要研究分布式计算模型和节点间通信模式。目前限制ADMM算法可扩展性的一个重要因素是同步模型参数带来的巨大的通信开销,尤其是采用主从通信模式的ADMM算法,通信开销随着集群规模线性增长。本文以减少通信开销为核心,具体研究内容包括:1.根据ADMM算法特征,将计算和通信分离,实现了一种异步触发型Allreduce操作将异步分布式ADMM算法和Allreduce通信模式相结合。通过实验验证Allreduce通信模式下异步分布式ADMM算法的高效性与高可扩展性。2.设计和实现了一个针对稀疏数据通信的通信接口Sparse Allreduce,旨在为更多分布式优化算法提供高效通信支持。Sparse Allreduce提供了异步Allreduce操作,本文针对稀疏数据通信重新设计了Allreduce操作的实现算法。3.以Sparse Allreduce和异步分布式ADMM算法为基础,设计和实现了一个模型训练框架ADMMDML。通过使用增量通信和消息过滤策略,ADMMDML可以充分利用Sparse Allreduce支持稀疏通信的特性,配合混合精度训练能够进一步减少通信开销。通过实验验证ADMMDML能够在Allreduce通信模式的基础上进一步优化通信。本文在上海大学自强4000集群系统上进行测试。测试结果显示Allreduce通信模式下的ADMM算法相比主从模型下的ADMM算法,可以减少80%的网络等待时间,混合精度训练和消息过滤可以在Allreduce通信模式的基础上进一步减少36%的网络等待时间。