分布式深度学习训练中,传统的模型并行和数据并行由于并行粒度大,节点资源利用不充分,效率不高。近年兴起的流水线并行模式,克服了以上两种模式的缺点,提高了设备资源的利用率,降低了通信量。然而,在流水线并行的模式中,由于任务本身的复杂性,仍然存在节点任务划分不均衡、各节点并行不充分的问题。为了进一步提高流水线并行的效率,基于任务的数据流图分析,提出一种在流水段中加入卷积层修剪策略的流水线并行方法Pipe Prune。由于神经网络模型本身的序列性和复杂性,仅依靠划分算法无法将整个模型划分为均等的部分,耗时不同的模型块在流水线中会产生气泡和空隙,进而造成流水线效率低下。为解决上述问题,对每个流水段的数据流图进行分析,统计每个流水段的的执行时间、参数量大小、激活值等信息。有针对性地对耗时长的网络模型块进行部分修剪,可以有效地均衡各个流水段之间的执行时间,使得流水线更加紧凑。在网络模型中,卷积层占据了大部分的计算时间,对卷积层进行处理可以有效减少该流水段执行的时间。具体地,依据该流水段执行的时间,设定其中卷积层的修剪比例k,计算每一个卷积核的1范数,修剪掉前k个数值最小的卷积核,进而减少该卷积层处理的时间。最后在训练过程中,维护多个训练批次数据的参数版本,对参数更新加以控制,保证神经网络模型的收敛性和最终精度。上述方法实现在典型分布式深度学习系统Py Torch上,使用典型的数据集Image Net-1K（ILSVRC 2012）进行测试评估。实验结果表明,Pipe Prune能够有效加速流水线并行深度学习训练,保证最终精度损失在可接受的范围内,与未加入修剪的流水线相比可提升训练速度30%以上。