近年来,受益于算法、硬件算力和数据集的高速发展,深度学习得到了广泛应用。但随着应用增多和数据量的增长,深度神经网络越来越复杂,参数规模从万级增加到亿级。单设备计算能力和存储能力有限,无法应对在大数据集上训练大模型。因此采用跨设备分布式并行技术将大模型切分为多个子模型,并将多个子模型分配到不同设备并行执行,已成为处理大模型的主流方法。现有的深度学习分布式并行策略主要基于专家经验设计,当模型、算法或集群环境发生变化时,需要强大的专业知识和昂贵的人力时间重新设计并行策略,大大增加了实际生产场景下的工作量。少部分研究者提出分布式并行策略自动搜索技术,主要包括机器学习和图算法两类。其中,基于机器学习的自动并行技术由于迭代学习的策略搜索方式导致耗费的计算资源和时间成本较高,并行训练所带来的性能优化收益甚至无法超过搜索并行策略所带来的时间损耗,普适性较差。而相较于基于机器学习的自动并行技术,基于图算法的自动并行技术能在常量级时间内搜索得到并行策略,可大幅降低策略搜索时长和计算资源消耗,因此本文着重研究基于图算法的自动并行技术。现有基于图算法的自动并行技术主要以训练时间或通信时间为评价模型指导分布式策略的设计与实现,性能评估指标单一,对并行策略执行性能评估有限;与此同时,分布式并行策略组合数随着算子数或模型层数增加呈指数级增长,导致现有算法搜索并行策略效率低下,策略搜索时间和并行策略性能仍存在较大的优化空间。针对上述问题,本文以有向无环图（Directed Acyclic Graph,DAG）调度为研究方向,分别从分布式训练性能量化建模、并行策略算法搜索优化和并行策略性能提升等方面展开深入研究。本文的研究内容概括如下:（1）针对性能评估指标单一问题,本文构建分布式性能评估模型。首先,对所要解决的问题进行数学建模,明确分布式并行训练优化目标;其次,分析深度学习模型组合结构性原理,研究并量化影响模型并行执行效率的关键因素;最后,构建性能评估模型,用以指导后续分布式并行策略的自动搜索和调优。（2）针对分布式并行策略搜索效率低的问题,提出基于DAG关键路径最优化调度的并行策略自动搜索算法MP-DPS（Device Placement and Scheduling based on Merge and Path Predict,MP-DPS）。该算法首先提取原始计算图和设备拓扑图的特征并构建图搜索空间;其次,通过异构算力感知的节点归并,基于算子对算力异构敏感度进行节点合并,减少搜索空间;最后,基于路径开销预测实现DAG关键路径最优化调度,以寻找最优并行策略。相比于同样基于图算法的FastT（FastTraining of Models,FastT）,MP-DPS算法可大幅降低搜索开销,具有更好的分布式拓展性。（3）针对环境动态变化导致静态方法搜索最优分布式并行策略困难的问题,本文进一步提出基于DAG关键路径动态生成的并行策略自动搜索算法FD-DPS（Device Placement and Scheduling based on Fine-grained optimization and Dynamic critical path,FD-DPS）。该算法首先基于张量维度实现算子拆分,拓展优化空间;其次,提出关键路径动态生成方法,基于算子动态优先级确定关键节点从而动态生成关键路径,捕捉算子相对重要性的变化;最后,基于节点重要性实现关键路径最优化调度,从而进一步提升并行策略性能。相比MP-DPS,FDDPS耗费较久的搜索时长从而达到相对于MP-DPS算法更优的并行训练性能,具有更好的训练有效性。