机器学习作为人工智能领域内的一个重要方向已经在今天发挥出了越来越重要的作用,随着机器学习相关算法解决了越来越多的问题的同时,人们也面临着一些新的因为数据量大、模型大、计算量大从而单机无法解决的问题。正是由于这些问题在单台机器上的不可行,人们自然而然的就想到使用多台高性能计算机去加速模型的训练。然而,在大多数的情况下并不是直接使用多台机器去训练就可以直接得到相应的提升的。从机器学习理论的角度来讲,大多数的算法可以形式化为求一个由损失函数和正则化项所组成的目标函数的条件最值的问题。而求解这一问题最常用的方式就是用优化函数求解。对于一阶函数而言,最常用的优化算法就是随机梯度下降算法。所以我们认为,首先在随机梯度下降算法上研究算法的并行化问题可以有较为显著的收益。主成份分析(PCA)算法和奇异值分解(SVD)广泛应用于机器学习的各个领域之中。在实际应用中,在整个问题中求解一个PCA子问题所占用的时间开销往往是巨大的。我们基于方差递减的随机梯度下降的方法提出了一种快速分布式主成份分析算法。使用随机采样更新目标,并采用延迟同步作为我们的同步机制。近年来,由于深度神经网络在不同方面的出色表现,深度神经网络作为机器学习的一个分支得到了人们的广泛关注。在分布式深度学习中,一个通常的做法是在CPU和GPU异构集群上,通过使用分布式训练的方式使得海量数据得以在多机多卡间并行处理,以大幅提升收敛速度。通过详细分析后可以发现,在分布式深度学习任务中跨机器的通讯往往是瓶颈,是需要优化的部分。一方面我们从算法研究的角度详细分析了现有的算法瓶颈,提出了基于两步归约的通信策略去减小不同机器间聚合梯度的时间。进一步的,我们提出了一种基于两步归约的分布式梯度下降方法。另一方面,我们从工程应用的角度分析了远程内存直接存取技术(Remote Direct Memory Access,RDMA)和InfiniBand与以太网和TCP/IP的区别与联系,以及基于Socket的通信方式的不足之处。我们基于InfiniBand的原生标准库设计并实现了一个面向分布式深度学习的高效通信接口。我们的通信接口实现了高吞吐量和低CPU开销,并且我们基于异步方式实现从而最大化RDMA的性能优势。