论文部分内容阅读
针对未来智慧城市智能网联汽车通过无信号交叉口的通行效率问题，本文基于深度强化学习提出了一种渐进式价值期望估计的多智能体协同控制算法（Progressive Value-expectation Estimation Multi-agent Cooperative Control， PVE-MCC）。PVE-MCC算法设计了基于渐进式学习的价值期望估计策略，通过动态改变价值期望学习目标由短期到长期的变化，保证值函数网络渐进式地持续学习，避免策略网络陷入局部最优解，并将该策略与泛化优势估计算法结合，提升算法收敛精度和稳定性。其次，PVE-MCC算法以通行效率、安全性和舒适性为优化目标，设计了多目标奖励函数来提高多智能体协同控制的综合性能。此外，无信号交叉口易出现的“死锁”现象对多车协同控制带来了巨大的挑战，针对这一问题，PVE-MCC算法基于链表环形检测算法设计了启发式的“死锁”检测-破解干预策略，实现对“死锁”环的提前检测和破解，进一步保障交通通行的安全性。最后，本文搭建了双向六车道无信号交叉口场景的仿真实验平台，进行功能和性能验证。实验结果表明，PVE-MCC算法比现有方案提高交通流量30.47%，单车效率提升了95.56%，舒适性提升了53.82%。