基于强化学习理论的混合交通流智能网联车辆纵向轨迹规划算法研究

来源 :长安大学 | 被引量 : 1次 | 上传用户:zdbzdb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国交通运输行业的蓬勃发展,交通基础设施规模日趋庞大,每年新增机动车数量位居世界前列。然而,现有城市道路交通供给水平仍旧难以满足快速增长的出行需求,交通拥堵所产生的一系列问题也亟待解决。当前道路交通流中人类驾驶员反应慢、易出错和随机性大等特点,成为了造成各类交通问题的直接原因。伴随第五代移动通讯技术的发展和自动驾驶技术的更新,兼具“信息互联互通”和“自动驾驶”两项技术优势的智能网联车辆即将成为智能交通系统中的重要组成部分。通过对其行驶轨迹进行规划,降低人工驾驶车辆行驶过程中的不确定因素,成为了缓解道路交通问题的新方向。考虑该技术未来投放初期,道路内部出现两类车辆混合行驶场景将对处于其中的智能车辆轨迹规划工作带来两方面的挑战:1)在混合交通流内部,人工驾驶车辆自身运行的不确定性以及这种不确定性的非线性叠加所造成的复杂环境特征,将直接提高智能车辆行动决策的难度,延长其最优行为的计算时间。2)两类车辆之间所产生的影响并非是单方面的,并且二者之间的互动关系及其产生的后续影响将在混合交通流内部随机和持续的出现,这同样提升了后继状态下智能车辆的最优行为决策难度。因此,如何应对这些挑战来进一步发挥智能车辆对于混合交通流提高通行效率、降低燃油消耗、提升安全指数的能力具有重要的研究意义。基于此,本论文主要内容包含以下几个方面:(1)首先提出了一种基本互动单元的拆分方式,来降低混合交通流内部人工驾驶车辆行为不确定性和车辆互动关系所产生的复杂性问题的分析难度。在此基础上构建了能够与智能网联车辆互动并即时反馈信息的混合交通流环境模型。将研究场景中所包含的状态特征信息、内部车辆运行动力学方程、优化目标函数和边界条件等要素融合到该环境模型的信息输入层、状态更新层和信息输出层三个层级当中。混合交通流环境模型是强化学习理论框架中进一步构建智能车辆决策模型的理论基础。(2)从智能车辆的决策视角出发,将混合交通流中智能网联车辆轨迹规划工作抽象为一系列的连续决策过程,提出了有限马尔可夫决策过程(FMDP)模型。该模型将连续时间等间隔离散化为时间序列,定义了智能车辆决策链中的中间状态和结束状态及其所包含的元素。之后从智能车辆自身行为出发,针对该行为对系统状态所可能造成的改变定义了FMDP状态转移概率。结合不同优化目标函数分析了环境模型输出效益值和FMDP奖励值之间的关系。最后结合混合交通流环境模型中的优化目标函数,定义了决策模型中所用到的奖励函数,并讨论了模型中衰减系数的功能。FMDP模型是后文两类在线轨迹规划算法开发的理论依据。(3)提出了灵活性较强的基于蒙特卡洛树搜索的智能车辆在线纵向轨迹规划算法(MCTS-MTF),能够使智能网联车辆灵活应对混合车流中的复杂环境并即时决策最优轨迹。该方法结合具体研究场景重新将混合交通流状态、后继状态、智能车辆行为抽象为搜索树中根节点、叶节点、分枝等概念。由环境模型衍生的快速多步模拟过程以及基于平衡系数设置方法的置信上限函数组成了算法的主体结构。之后,所提出了树扩展决策模块和分枝生成判定条件进一步提升了算法整体运行效率。仿真测试环节验证了算法对多种优化目标的有效性和收敛性。在敏感性测试中该算法对不同的背景交通量都能发挥相应的作用。(4)提出了实时性较强的基于深度强化学习理论的智能车辆在线纵向轨迹规划算法(ADRL-MTF),能够进一步缩短最优轨迹的决策时间。该方法引入状态价值逼近网络(Q网络)替代传统求解算法中的庞大状态价值存储表,同时结合领域知识选择对车辆行为影响最大的四个要素(当前信号灯色,剩余灯时,车辆剩余距离,车辆瞬时速度)作为该网络所需要的输入特征值。分析了算法框架中奖励值对训练过程中智能车辆行为的导向性,并设置了具体的奖励函数。仿真测试环节验证了该算法的有效性和实时应用潜力。稳定性测试发现该方法对于车流初始车头间距分布变化的较为稳定,对于车流中智能车辆比率变化呈正相关关系。敏感性测试则发现该方法对于较长路段的限速值变化较为敏感。
其他文献
现代社会的高速发展越来越依赖于电子设备,由于电能质量问题容易引起设备故障,如何有效识别电能质量扰动信息尤为重要。随着机器学习不断被引入电力研究,单一扰动信号的分类问题已经获得了不错的精度,但对于组成复杂的复合扰动信号,由于各扰动特征相互干扰致使其分类精度依旧不高。本课题针对复合扰动信号的特征选择问题以及识别分类问题进行了研究。为提升对含有噪声的电能质量扰动信号分类的准确性,本文在小波包消噪的基础上
学位
构建绿色发展的税收政策体系是推动经济发展方式绿色转型的重要举措,如何使二者实现政策协同具有重要的理论与现实意义。文章利用中国工业企业财务与污染排放的匹配数据库,借助2009年企业增值税转型改革在全国范围内的推广,理论分析并实证考察了固定资产增值税抵扣改革引致的税收减免激励对企业生产方式绿色转型的影响。研究发现,增值税转型改革显著降低了企业的污染排放强度,稳健性与安慰剂检验为结论提供了可靠证据。异质
期刊
海绵城市作为城市雨洪管理、人居环境改善的重要手段,为解决我国中西部地区城市建设中所面临的水环境、水灾害与水资源问题提供了有效途径。但是,在湿陷性黄土场地开展海绵城市建设,恢复城市良性水文循环,保护或修复城市的生态系统的同时,如何保证湿陷性黄土场地稳定性,有效避免由于海绵设施水分集中入渗导致土体强度弱化、地基产生不均匀变形,进而对设施周边建(构)物安全造成影响是学术界和工程界共同面对和亟需解决的问题
学位
学位
大气CO2浓度持续升高已成为全球变化的重要议题。与此同时,土壤重金属污染亦是目前存在的一个广泛而重要的环境问题。丛枝菌根真菌(AMF)能与陆生植物形成互利共生体,在增强宿主植物抵抗逆境胁迫方面发挥重要作用。鉴于大气CO2浓度升高与土壤重金属污染并存给生态环境带来的各类问题,探讨AMF群落对大气CO2浓度升高与土壤重金属污染耦合的响应以及耦合条件下AMF对宿主植物抗性的调节具有重要意义,但目前该方面
学位
出租汽车价值来源于交通工具功能和经济行为属性,表现为出租汽车对乘客和驾驶员的生活和活动所具有的积极意义。在供需一体化视角下,出租汽车价值不但包括乘客乘坐出租汽车到异地办理特定事务对其产生的积极意义,而且包括驾驶员提供出租汽车服务获取车费收入对其产生的积极意义。近年来,出租汽车在城市交通出行中扮演着越来越重要角色,城市道路交通拥堵问题尚未得到彻底解决。同时,智能交通技术广泛应用为研究出租汽车价值提升
学位
近年来,为解决人类对于便携型电子产品、电动汽车以及大功率储能装置等日益增长的需要,人们迫切的需要寻找拥有超高储能密度和功率密度的新材料。电介质陶瓷电容器因其高功率密度以及更快速的充放电特性,在高脉冲功率应用中引起了更多的重视。本论文以钛酸铋钠(Ba0.5Na0.5Ti O3)基陶瓷为研究对象,通过固溶改性的方法,系统地分析探讨了陶瓷材料相结构以及显微形貌的变化对材料电学性能和储能性能的影响,并揭示
学位
我国的机动车持有量逐年上涨,庞大的汽车数量对道路承载力带来了极大的挑战,交通事故也是频频发生,一旦发生事故将带来更加严重的拥堵。针对目前道路中频繁发生的轻微交通事故,传统的交通事故检测主要是通过人为报备和人眼观察来完成,不仅耗时长、效率低,还会对人体带来危害,无法有效地缓解交通拥堵。因此现在迫切需要可以实现自动交通事故检测,同时完成事故责任判定的方法。能够快速检测出交通事故并完成快速理赔的流程,对
学位
在智能网联汽车的应用领域,队列控制技术因其安全、稳定、高效的特点,获得了业界的广泛关注。车辆在编队行驶时,其低间距高跟驰稳定性的特质,可以降低车辆运行过程中的空气阻力、提升空间利用率,从而在很大程度上提升道路交通容量、提高交通运输效率、避免交通拥堵、降低燃油消耗,对于整个社会的能源、经济等都可以起到积极的作用。高速公路由于其交通环境相对简单、通行效率高、车流量大的特点,将会成为智能网联车辆队列控制
学位
抗拉强度是黄土的一项重要力学特性,其影响并控制着许多黄土工程问题,黄土区填方土石坝开裂、边坡坡顶拉裂等均为黄土拉张破坏的表现形式,在破坏过程中裂缝、接触面等岩土体界面为拉张破坏的薄弱区域。由于黄土的抗拉强度数值较小且测试方法复杂,目前大部分研究忽略了黄土抗拉强度特征,仅有的少数研究也只针对于抗拉强度的影响因素,并未对黄土及界面黄土的抗拉强度衰减过程、规律、机制进行深入的研究。本文针对黄土及界面黄土
学位