城市道路交通由于路况复杂、车辆众多,交通分析方面存在着巨大的需求。很多研究者对不同路况建立了相应的交通模型进行描述和仿真,大部分集中在城市主干道、高速公路交通流量的宏观分析上。然而较少有研究者关注描述个体运动规律的微观模型。在作为城市道路毛细血管的大量无信号灯十字交叉路口上,不同方向的车辆驶入时,由于存在通行利益冲突,产生了不同程度的博弈行为,进而影响了路口的通行效率,也使交叉路口成为常见的交通事故发生地。针对无信号灯十字路口的个体博弈通行现象,本文引入强化学习与博弈机制进行微观建模,以仿真的方式对问题进行研究。本文对道路环境、交通个体进行了描述和建模,将道路场景抽象封装为可计算状态特征与奖励值、更新交通个体状态的环境模块,将机动车、非机动车、行人三种交通个体抽象为强化学习智能体(以下简称Agent),引入DDPG(Deep Deterministic Policy Gradient)算法建立单Agent决策模型,引入MADDPG(Multi-Agent DDPG)算法建立多Agent博弈模型,通过离散化的交互过程从道路环境不断获得反馈,以训练Agent的微观通行决策模型。课题在单Agent情景下训练独立的通行策略,在多Agent情景下借助马尔可夫博弈模型对人车混行场景进行仿真,从而获得Agent在交通博弈下的微观模型。为支持仿真模型训练过程,本课题开发了相应的强化学习python包对仿真场景提供计算支持。一系列实验表明,采用强化学习建模的交通Agent在学习初期就表现出了一定的随机性,但随着各项奖励的引导,逐渐形成了相对固定的行为策略。而在博弈学习的过程中,随着博弈经验的积累,Agent同样倾向于进化为博弈收益更大的策略并达成新的均衡态。该过程一定程度模拟了人类的学习过程——通过不断接收环境反馈来调整自身行为,从而去除了之前的固定模型对Agent行为模式的提前假设,形成一种不依赖假设或大量数据的建模方式。由此可见,强化学习建模可以保证Agent在特定场景中经过学习后,找到相对固定的最优行为策略。因此,在交通仿真微观模型领域具有理论和实践价值。但该模型的多场景适应性、计算优化性等方面仍有进一步提高的空间。随着硬件算力提升,基于Agent的建模方式将能以更低成本模拟交通个体更多细节,达成更高的仿真精度。