论文部分内容阅读
<正>在大数据集上训练的现代神经网络模型在许许多多领域都取得了显著的效果,从语音和图像识别到自然语言处理,再到工业界的应用,比如欺诈检测和推荐系统。但是这些神经网络的训练过程非常耗时。尽管近些年GPU的硬件技术、网络模型结构和训练方法均取得了很大的突破,但是单机训练耗时过久的事实仍无法回避。好在并不局限于单机训练:人们投入了大量的工作和研究来提升分布式训练神经网络模型的效率。其中两种并行化、分布式训练的方法。在模型并行化(model parallelism)方法里,分布式系统中的不同机器负责单