强化学习技术用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。深度强化学习是强化学习的进一步发展,用以应对更加复杂的环境。多智能体环境是一种常见的复杂环境,在这种环境中深度强化学习的训练成本通常十分高昂,这极大的阻碍了深度强化学习的技术发展和应用推广。迁移技术是一种可以有效降低多智能体深度强化学习训练成本的技术,它是指将某个领域或任务上学习到的知识或模式应用到其他领域或问题中。另外,迁移技术还是多智能体深度强化学习模型从实验环境顺利应用到实际环境的关键技术之一。因此,研究多智能体深度强化学习的迁移是十分有必要的。多智能体深度强化学习的迁移分为三个层级:团队层级、个体层级和局部子策略层级。迁移团队策略常用于实现团队规模的变化,但现有的迁移办法难以应对智能体规模动态变化的环境;迁移个体策略常用于实现算法训练的加速和性能的提升,但传统迁移方法对训练速度提升有限且难以保证迁移知识的有效程度;迁移局部子策略可以降低训练成本,但传统神经网络结构下,算法难以从总策略中分解出子策略进行迁移。本文对上述三个问题进行了深入研究,主要工作和创新点如下:（1）针对现有迁移办法难以应对智能体规模动态变化的环境问题,本文提出了序列多智能体强化学习（SMARL）算法。算法通过内部智能体间知识的迁移和降低智能体规模与算法的相关性,提升了算法对智能体规模变化的适应能力。实验表明,本算法在迁移性和训练效率上均优于基线算法,且在智能体数量变化环境下,迁移后性能上至少是基线算法的3倍。（2）针对传统迁移方法对训练速度提升有限且难以保证迁移知识的有效程度问题,本文提出了融合监督学习的深度强化学习（SRL）算法,通过“监督预训练—>知识迁移—>强化学习再训练”的方式,达到加快训练的目的。实验表明,单智能体情况下,本算法训练的耗时相比其他方法至少缩短25%,多智能体情况下,本算法可以为智能体设置良好的“开端”,从而获得更多奖励。（3）针对传统神经网络结构下,算法难以从总策略中分解出子策略进行迁移问题,本文将“高内聚,低耦合”的思想引入深度强化学习,提出了模块化的深度强化学习模型。本模型中通过分割整体网络,分解总体策略,实现智能体间局部模块和特定策略的迁移复用。实验表明,本模型在性能,迁移性以及模型的泛化性上远优于使用传统结构的深度强化学习算法。