深度学习算法正得到越来越广泛的关注和应用,然而随着输入训练数据集和神经网络模型的增大,单节点进行深度学习训练存在内存限制以及训练耗时等问题,分布式深度学习应运而生。其中,参数服务器多基于分布式方法设计,普遍采用并行随机梯度下降算法进行梯度更新训练。分布式参数服务器的设计能有效提升深度学习的训练速度,但面对大规模神经网络参数时,工作节点和参数服务器节点进行参数交换的时间过长,会消耗较多并行训练的时间,是整个分布式训练中的瓶颈。现有的解决方式是依靠手动优化参数交换的时间间隔,以降低参数交换频率和开销。手动设置的各工作节点交换时间间隔固定且相等,来自不同工作节点的参数交换请求会在近乎相同的时间点到达参数服务器节点而呈现请求突发现象;而参数服务器节点资源有限,不同的参数交换请求必须通过排队依次获得其资源以得到处理,瓶颈依然存在。针对上述问题,设计了一种通过自动设置最佳参数交换时间间隔来消除分布式深度学习参数交换瓶颈同时保证训练准确率的方法和系统;并在内存容量足够容纳整个参数模型的前提下,对并行随机梯度下降算法进行了优化。其工作机制为:通过监控参数服务器节点的资源使用情况,动态为各个工作节点选取一定范围内不同的参数交换时间间隔以避免请求突发现象,并在达到时间间隔上限时进行强制参数交换,依此来消除参数交换瓶颈的同时保证准确率。实验表明,分布式深度学习中参数交换优化机制能够在保证深度学习训练准确率的前提下,使参数交换速率提升8倍,有效克服了并行训练中参数交换瓶颈以及参数交换请求突发问题,从而提升了训练速度。