深度神经网络在多个领域应用广泛,但随着数据量的增长以及模型复杂度的提高,造成的影响是训练效率和模型精度的下降,对于深度神经网络的并行化研究可以有效解决这一问题.在现有分布式环境下进行数据并行化训练是神经网络并行化的一种有效方案,但其存在全局模型精度不佳、节点计算能力不平衡的问题.针对以上问题,本文提出了一种基于差分进化改进的深度神经网络并行化方法DE-DNN.DE-DNN利用差分进化方法对并行训练过程中获取全局模型的关键步骤进行改进和优化;同时提出一种基于批处理的自适应数据分配算法BSDA,减少并行训练过程中由于计算节点能力不平衡而造成的节点额外等待时间.实验基于NiN深度网络模型对本文提出的方法进行了实现并在CIFAR-10和CIFAR-100数据集上进行测试.实验结果表明,DE-DNN可以有效提高并行训练过程中全局模型的分类准确率,加快收敛速度;BSDA数据分配算法能够合理根据各节点的计算能力分配适量数据,减少训练过程中因节点等待产生的额外时间开销.