网约车服务（Online Car-Hailing Service）作为当今城市交通中的重要组成部分,已经在日常出行中占据举足轻重的地位。对于网约车平台,其核心之一就是进行需求与供给的时空匹配。车辆调度技术作为网约车平台优化需求与供给时空匹配的关键技术,一直都是研究热点。随着近年来深度强化学习在许多领域取得了重大突破,研究人员们将基于深度强化学习的智能调度技术应用到网约车调度中。然而网约车调度问题与其他问题相比,难以建立高效的马尔可夫决策过程（Markov Decision Process,MDP）模型,且很难在真实环境中进行深度强化学习算法训练。为此,本文针对城市网约车调度环境,提出了一种高效的MDP建模方式,并以此设计了城市网约车调度仿真系统。本文在该仿真系统上研究深度强化学习在网约车调度方面的应用。具体而言,本文具体研究成果包括以下几个方面:1.针对以往MDP建模方式存在的问题,本文提出了一种高效的MDP建模方式。本文通过将城市划分为多个区域,使得每个区域可以分别制定自己的调度策略。随后根据所提出的MDP模型,本文引入真实的订单数据以及路网数据作为研究数据源,为后续车辆调度研究设计了网约车调度仿真系统。2.在多智能体车辆调度系统中,本文将优化车辆的平均空载时间为研究目标。通过车辆调度的空间相关性,将每个区域里的所有车辆视为一个整体来进行调度,构成同质化调度策略。随后本文通过多智能体强化学习分解整个问题的状态和动作空间,构建了一套集中训练,分布执行的深度强化学习系统,并设计了距离卷积模块以及区域近似模块来提升训练效率。通过实验对比,本文验证了多智能体系统在减少车辆寻客时间上的有效性。3.在异质化调度系统中,本文着重于平衡区域间的车辆和乘客资源分布。由于区域划分不合理,区域里的不同车辆会产生不同的最优调度策略。为此,本文设计了一套双层系统来实现异质化策略调度。在第一层各个区域会通过深度强化学习网络决定自己需要调度的车辆数量;在第二层我们使用二部图匹配决定调度车辆的方向,从而形成最终调度策略。仿真实验证明了所设计系统在平衡车辆和乘客资源分布上的有效性。