自上世纪80年代至今,多智能体协作算法在电子游戏、资源规划、交通调度、军事等领域拥有广泛的应用前景。近几年,随着深度强化学习（Deep Reinforcement Learning,DRL）在诸多问题上取得了显著成果,基于DRL的多智能体强化学习（Multi-agent Reinforcement Learning,MARL）也成为了解决多智能体协作问题的主要方法之一。在目前的MARL方法框架中,各个智能体主要采用基于原始状态-动作对空间的协作策略探索,这使得协作策略的探索空间过大,进而导致探索效率低下,策略学习容易陷入局部最优,甚至难以收敛到稳定策略。随着问题规模增加,探索空间大小呈指数级增长,以上问题会进一步加剧。为解决多智能体协作场景下MARL探索空间过大的问题,本文将基于目标条件约束的分层（Goal-conditioned hierarchy）思想引入到MARL方法中,并提出了基于目标条件约束的分层多智能体演员-评论家（Goal-conditioned Hierarchical Multi-agent Actor Critic,GHMAC）算法。在GHMAC算法中,每个智能体原本的策略被解耦成两层子策略,上层策略负责决策当前的阶段性目标,下层策略负责与环境交互达到该目标。智能体之间的协作完全基于上层策略之间的协作,协作策略探索空间从原本的状态-动作对空间被压缩到了状态空间的子集上。此外,本文在一个开源的多智能体实验环境下,设计了一个具有多种约束的协作导航任务。基于该任务展开的一系列实验结果表明,GHMAC算法在整体学习曲线和最终任务完成率等指标上优于近几年具有代表性的多智能体演员-评论家算法。为了进一步提高策略评估的准确性,本文在GHMAC的基础上提出了基于目标条件约束的分层多智能体近端策略优化（Goal-conditioned Hierarchical Multiagent Actor Critic with Proximal Policy Optimization,GHMAC-PPO）算法,该方法适用于离散动作空间场景。首先,本文针对中心化训练去中心化执行框架下的全局状态表示方法进行分析,提出差异化全局状态表示方法。在训练过程中对当前策略作评估时,该表示方法可以消除冗余信息,考虑智能体间的差异性,从而进一步提高算法的学习效率。然后,本文将近端策略优化算法作为下层策略的更新算法,以提升智能体的探索效率,并使该方法适用于离散动作空间问题。在动作空间离散的协作导航任务下展开的实验结果显示,GHMAC-PPO的表现优于近几年的多智能体随机策略梯度算法,同时一系列的消融实验也证明了上述两个改进点的有效性。