基于驾驶风格推理与强化学习的自动驾驶运动规划方法

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:o70078
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自动驾驶技术的不断发展和逐步落地,如何实现复杂交通场景下自动驾驶的安全规划成为目前研究的重点和难点。城区自动驾驶会面临各种复杂交通场景,如车流密集、无交通信号灯控制路口、由遮挡造成的不确定性等,都会使车辆之间的交互变得更为复杂,进而影响驾驶的安全性。无模型深度强化学习(Deep Reinforecement Learning,DRL)方法可以隐式地学习车辆间的交互作用,是研究复杂交通场景下的运动规划问题中使用较多的一类方法。然而现有的这类方法忽略了周围车辆的驾驶行为特征对规划的影响,容易引起驾驶安全问题。突发情况是造成复杂交通场景不确定性的主要因素之一,但目前基于DRL的规划方法鲁棒性和泛化性能差,对训练场景之外的交通情况适应性差,更难于处理突发情况下的不确定性。论文针对无信号灯交叉路口等复杂交通场景,先根据观测到的相邻车辆的历史轨迹,采用基于GRU(Gated Recurrent Unit)循环神经网络的变分自编码器(Variational Auto-Encoder,VAE)学习得到驾驶风格特征;在此基础上,将驾驶风格特征和其他状态参数融合,在扩展的强化学习框架下训练得到运动规划策略。论文的主要研究内容包括:(1)提出了一种基于VAE+GRU的驾驶风格推理网络。通过感知得到的周围车辆原始历史轨迹信息,建立多维动态场景特征图,利用交通信息模块提取交通约束信息构建多信息轨迹;VAE+GRU网络的编码器从构建好的周围历史多信息轨迹中学习区分不同的特征,推理出周围不同车辆的驾驶风格;基于混合注意力机制的解码器将推理出的驾驶风格这一潜在特征重构至轨迹信息中,使DRL能学习到更安全的规划策略。(2)提出了一种基于李亚普诺夫稳定性理论的安全演员-评论家算法(Lyapunov-Based Safety Actor-Critic,LBSAC)。针对现有深度强化学习方法在面临不确定交通场景时鲁棒性较差的问题,将满足基于数据采样的稳定性定理的李雅普诺夫函数引入到批评家网络中作为策略梯度,在训练时更新以帮助算法学习具有稳定性的策略,并通过安全层的设计使方法在面对不确定性较大的环境时仍能输出安全可靠的策略。(3)将(1)中的驾驶风格推理方法与(2)中的LBSAC强化学习框架相结合,实现了一种鲁棒性和可解释性更好的Mid-to-Mid运动规划方法Driving Style Inference-LBSAC(DSI-LBSAC)。通过对观测信息和其潜在状态的处理得到驾驶风格,将驾驶风格信息融合到状态信息中辅助LBSAC算法学习输出运动规划结果。(4)基于CARLA搭建了仿真环境对方法进行训练,并采用Leaderboard对本文方法在各类复杂交通场景下的性能进行了测试。在搭建的不同交通仿真环境下训练所提出的方法和基线算法。通过一组可控变量实验测试了训练后的模型在面对不同交通密集度和不同驾驶风格分布时的性能。利用Leaderboard平台提供的驾驶任务对比验证了所提出方法在处理复杂交通场景时碰撞率低、效率高、任务完成度高等性能。通过实验分析了方法中驾驶风格推理网络、注意力机制和安全层对规划方法安全性和效率的影响。在仿真交通环境下通过新地图新任务的测试证明了DSI-LBSAC算法具有良好的泛化性。
其他文献
在我国现代建筑工程领域高速发展的背景下,不仅建筑施工质量得到提升,同时建筑的功能也日益丰富,为人们提供了良好的居住环境。在建筑工程中,暖通空调具有重要的作用,可以调节室内温度与通风,但是传统的暖通空调运行能耗较高,所以加强对节能技术的应用,降低暖通系统运行能耗,具有重要的现实意义。因此,本文对建筑暖通空调设计中节能技术的应用进行深入的研究与分析,并结合实践经验总结一些措施,希望可以对建筑设计人员有
期刊
现代体育建筑作为大型公共建筑,是不同时代的建筑设计与审美、体育事业发展轨迹和建筑发展水平的真实体现,它与社会整体的政治、经济、文化发展紧密相连。随着我国城市化进程的加快、全民健身事业的发展以及体育赛事的举办,全国各地体育建筑的数量越来越多,而且当前现代体育建筑多元化的价值已经逐渐受到建筑保护领域的重视,已有多个现代体育建筑列入了《中国20世纪建筑遗产名录》和省级、市级的历史建筑保护名录,但目前国内
学位
实现赤潮预警对于减轻海洋环境灾害、避免海洋产业特别是海洋渔业重大经济损失具有重要意义。针对当前水文监测数据海量却难以实现实时自动化监测与预警,特别是难以利用传统监测手段实现对危害更大的赤潮的精准实时预测这一显著问题,提出利用浮标数据作为依据,借助机器学习在大数据分析和智能决策方面的优势,建立一种新颖的双重递进式赤潮预警机制的方法。首先,通过相关算法分析历史数据,以确认赤潮初步预警阈值;其次,对叶绿
期刊
发展成熟的大型城市必将面临城市更新的发展前景,广州作为我国的超大型城市在城市更新方向上有着责无旁贷的先锋性与开创性。而在城市更新的背景下,滨水遗留下的旧工业区无疑是宝贵的城市财富。在可持续发展与微改造的理念下,越来越多的滨水旧工业区进行了产业升级与更新调整。对于城市遗留下的老旧工业园区,其设计不仅仅只能对废弃建筑进行改造升级,应当从城市设计角度对整个园区做出宏观调整。论文将会以广州滨水旧工业园区内
学位
为解决建筑暖通空调设计中节能关键参数控制问题,以甘肃省某市某综合性建筑工程暖通空调系统为研究对象,在分析建筑物暖通空调系统负荷受天气因素与使用条件影响的变化特征基础上,基于建筑能耗仿真程序EnergyPlus软件进行设计分析,考虑了送风温度、表冷器进出水温度差、制冷机出水温度3个灌浆参数的影响。结果表明,在选取的观测时段内,建筑物室外干球温度和水平总辐射强度随着时间的增加呈现规律性的变化;室外空气
期刊
报纸
虚拟联挂是基于相对移动闭塞信号制式的一种新型列车联挂技术,通过车车通信技术,极大地缩短了列车追踪间隔,因此成为了近年来的研究热点。本文主要研究区间中列车的动态联挂过程(即,列车建立虚拟联挂的过程)。根据区间中有无道岔,将区间分为无岔区段和有岔区段。无岔区段是列车联挂过程中线路条件最简单、应用场景最广泛的线型,有重大研究价值。有岔区段由于存在道岔,道岔的状态会为列车带来额外的安全约束条件,进而影响建
学位
建筑行业具有高资源消耗的特性,应当对节能环保进行重视。本文以暖通空调节能技术在建筑工程中的应用研究为中心展开论述,从其重要作用入手进行分析,对绿色建筑中常用的暖通空调节能技术以及其节能降耗设计原则做出探究。并进一步研究建筑暖通空调节能降耗技术的应用举措,由浅入深,层层深入地进行分析,以期为绿色建设及相关设计、施工提供参考,促进建筑行业实现绿色、节能、协调发展,推进资源节约型、环境友好型社会建设。
期刊
随着国家海洋强国战略的实施,我国需要开展大批的海洋工程建设,混凝土用量增加,过度开采混凝土原材料所引发的生态环境等问题日渐突出。若能利用纤维增强复合材料(FRP,Fiber Reinforced Polymer)筋海水海砂混凝土(SSC,Seawater Sea-sand Concrete)替代传统的钢筋混凝土应用于海洋工程建设,便于就地取材、节约成本,还可减少过度开采砂石资源带来的环境问题。FR
学位
节能设计可以促进暖通空调系统的节能降耗,且是促进可持续发展的关键,所以针对民用建筑,应加强暖通空调节能方面的设计。本文的目的就是按照节能减排的原则,为用户营造一个舒适而且健康的生活环境,在使用再生资源、清洁能源的同时,针对目前我国的空调节能设计以及设计规范等存在的问题,在节能设计方面应采取全新的节能技术、完善暖通空调方面的节能设计、增强节能暖通空调技术的推广等策略,希望对我国民用建筑上的暖通空调的
期刊