【摘 要】
：
强化学习在单交叉路口信号控制方法的研究中被广泛应用，在提高交通效率、安全性与能耗经济性方面表现出优异的性能。然而在多交叉口干线交通信号控制系统中，由于维度灾难、奖励延迟等挑战的存在，独立决策的单智能体强化学习方法控制效果改善有限，要实现多智能体协同控制，必须针对干线交叉口特性设计合理的多智能体协作机制。 论文提出了延迟奖励的智能体干线信号控制方法(Delayed Rewards Multi-Ag
论文部分内容阅读
强化学习在单交叉路口信号控制方法的研究中被广泛应用，在提高交通效率、安全性与能耗经济性方面表现出优异的性能。然而在多交叉口干线交通信号控制系统中，由于维度灾难、奖励延迟等挑战的存在，独立决策的单智能体强化学习方法控制效果改善有限，要实现多智能体协同控制，必须针对干线交叉口特性设计合理的多智能体协作机制。
论文提出了延迟奖励的智能体干线信号控制方法(Delayed Rewards Multi-Agent Arterial Signal Control, DMAS)。通过分析智能网联交通系统MEC架构通信网络的拓扑特征，DMAS采用了参照MADDPG的多智能体Actor-Critic架构，其中单信号控制器为独立决策Actor向Critic传递局域观察，干线中心控制器为具有多个Critic的综合评估者依据共享观察域实施策略更新。进一步，考虑到干线场景特有的奖励延迟，论文设计了回报分解模块并嵌入 MADDPG，实现将延迟奖励转换为即时奖励。回报分解模块利用动态回报预测模型来实施基于LSTM的信息贡献分析。根据相邻步之间预测值差异进行信息贡献分析，并据此将总延迟奖励分配给每步。仿真结果表明，与独立观察独立决策到DDPG方法相比，MADDPG的标准化控制改善效果提高约18%，回报分解模块使DMAS在MADDPG基础上进一步提高约3%。训练过程奖励折线图显示：额外观察信息和网络训练成本以降低收敛速度为代价换取了更高的控制稳定性。
其他文献
准噶尔盆地西部新光地区二叠系主要分布在佳木河组，探明石油地质储量17104×104t,面积177.5km2;探明天然气地质储量206.72×108m3，面积33.09km2，具有巨大的勘探开发潜力。但由于气藏埋藏较深、储层地质条件复杂以及储层物性较差，还未取得勘探开发上的突破。究其原因，在目前的过平衡钻井方式下储层损害严重是导致勘探开发低效的主要原因。因此，形成一套行之有效的钻井储层保护方案，实现
随着各大油田进入开发后期，套管发生变形、破裂、错断等损坏的现象日益严重，油田套损井数量逐年增多，对油田的开发效果造成巨大的影响。影响套管损坏的原因主要分为两类：一类是地质因素，一类是工程因素。泥岩吸水蠕变和膨胀、油层出砂、岩层滑动、断层活动、地震活动造成套管损坏等地质因素是套管损坏的内因，固井质量问题、射孔、井位部署的问题、注水、压裂等工程因素是造成套管损坏的外因。本文通过大量的文献调研，并结合采
颜料型数码喷墨印花技术，具有小批量、高品质、源浪费少、环保、对纤维没有选择性，应用范围广等优点。随着纺织品行业的迅速发展，颜料型喷墨印花技术逐渐成为纺织品领域研究的热点之一。颜料型数码印花墨水作为喷墨印花的重要耗材，是决定最终喷印效果的关键因素之一。基于颜料型数码喷墨印花墨水的现状，将其分为墨水分散体系和粘合剂体系两个方面进行研究。 墨水分散体系由颜料着色剂、水、及其他添加剂组成。首先，选定合适
为响应全面提升城市公交服务品质，扩大公交服务广度和深度，完善多元化公交服务网络的政策要求，构建衔接顺畅的轨道交通接驳系统，可以有效提高轨道交通的吸引力，缓解乘客“最后一公里”出行难的问题。研究轨道接驳型社区公交站点和线路布设优化方法，对提升城市公共交通系统的乘客满意度和服务水平、满足乘客个性化出行需求具有指导意义。 论文剖析了轨道接驳型社区公交的系统特征。从社区公交的服务区域、线路形式、运行模式
随着喀喇昆仑公路（简称 KKH）二期工程的建设，沿线产生了大量的千枚岩高边坡，边坡稳定与否影响着公路的正常运行。为此，本文针对千枚岩高边坡的主导破坏模式建立了有限元数值模型，利用强度折减法分析了边坡的破坏过程，进行了边坡参数和锚固参数的敏感性分析，对施工开挖过程进行了模拟，为边坡的修建与支护提供参考。 首先，根据KKH二期工程的勘察设计资料，分析了千枚岩高边坡稳定性的影响因素，介绍了千枚岩边坡的
半柔性路面（SFP）材料是在大空隙沥青混合料中灌注性能优异的水泥砂浆固化结合而形成的一种复合路面材料，由于其承载力高，高温稳定性较好，因此设置为面层能够很好地解决由于沥青混合料高温稳定性不足而导致的如车辙等病害，故而近年来受到广泛关注。但是实际工程中，半柔性材料的开裂问题已成为制约其推广的主要原因，这是由于路面实际受力状态复杂，加之其本身是三相异质材料，且施工时灌浆的质量也难以控制。目前对半柔性材
相比于热拌沥青混合料，温拌沥青混合料由于拌和温度的降低，能够显著地降低生产过程中能源、燃料的消耗，同时也显著降低了有害气体的排放。目前，机械发泡的温拌沥青主要存在稳定性较差、质量变异性难控制、不利于存储与运输等问题。基于以上分析，本课题借助一种新型的可储存式沥青发泡设备，制备可储存的、可远距离运输的、质量变异小、气泡均匀分布的发泡沥青及其混合料，通过试验确定了五种沥青的最佳发泡条件，探究了发泡前后
目前我国公路交通发展已从集中建设时期过渡到建养并重阶段，急需重视路面病害的检测与防治工作。裂缝类病害作为路面病害的初期表现形式，在公路养护中意义重大。然而传统的路面裂缝检测算法无法适用于多种路面状况，算法的通用性不高，常常难以达到预期的效果。因此，对路面裂缝的自动检测算法展开进一步的深入研究，使其更加准确、高效和稳定，是十分有必要的。 本论文结合新兴的深度学习算法，以路面裂缝的检测识别为主线，研
随着我国汽车保有量的不断增加，行车噪声的危害越来越明显，已经成为主要的噪声源。在路面有积水的情况下，行车噪声呈现响度更大、频率更高的趋势。我国部分地区处于季风气候区，全年降雨充沛，有水路面上的行车噪声不可忽视。 有水路面的行车噪声，主要包括振动噪声和流体动力噪声，振动噪声的发声原理与干燥路面一致，本文主要从理论和数值模拟两个角度研究有水路面上行车产生的流体动力噪声，主要研究内容和结论如下： 1
车辙是沥青路面的主要破坏形式之一，对路面安全性和行车安全性危害很大。开展车辙预估模型的研究，确立自变量指标筛选和模型建立的方法，建立适用于不同情景、准确有效的车辙预估模型，对于指导沥青路面抗车辙能力的设计和车辙病害的维养，提高沥青路面的使用寿命，具有重要意义。本文依托国家重点研发计划项目“足尺环道高通量响应数据挖掘与长寿命道路服役性能验证技术研究”（NO.2017YFC0840201），通过文献调