基于深度强化学习的智能模型车云端决策方法研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:yangtianlin888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
提高交通效率的常用方法是控制交通信号灯以确保交通畅通,然而由于车辆行为的不可控,实际效果有限。随着智能网联汽车技术的发展,交通系统的云端控制中心不仅可以控制交通信号灯,还有可能直接控制车辆。在这种以云端为控制中心的交通管理模式下,云端决策能力是决定交通系统效率的关键因素。云端决策算法将是未来智能交通系统的关键技术。由于云端决策研究涉及多车协同,使用真实车辆进行研究的难度和危险性都很高。因此本文将以智能模型车为载体重点研究基于深度强化学习的云端决策算法。本文的研究工作可以大致分为三大部分:首先,本文提出了融合视觉与UWB的室内定姿定位算法,解决了模拟车位姿信息的准确获取。目前已有的室内定位方法是基于相机的检测,缺点是对目标的光线和颜色过于敏感,导致检测定位不够稳定可靠。因此,本文研究了不依赖相机的无线定位方式UWB,构建了基站自适应选择的UWB定位系统,解决多基站时间难同步和定位精度不稳定的问题。在此基础上,本文进一步研究了实时定位信息与地图先验信息的融合定位方法,实现了多目标的位置检测与跟踪。本文基于UWB定位系统实现了良好的定位效果,然而无法获取模型车姿态信息。因此进一步研究了相机检测和UWB定位融合的位姿估计系统,实现了位姿信息的准确获取。然后,本文研究了两种深度强化学习模型,分别是:深度Q网络(DQN)和异步优势演员评论家(A3C)。本文基于这两种算法进行了云端决策系统的训练,并进行了比较,以找到最佳算法。为了验证深度强化学习算法对交通效率的优化,本文将基于云端控制的交通效率与基于交通信号灯的交通效率进行了对比。最后,为了验证所提出的算法,本文构建了虚拟仿真软件平台和微缩交通系统平台,对云端决策算法进行了测试。虽然本项研究的对象是模型车,但其控制接口是预期速度和方向盘转角,与云端中心的交互方式是无线传输,与真实车辆类似,以便确保本文所研究的深度强化学习算法能够应对真实交通环境。仿真测试的结果表明,本文所提出的深度强化学习可以确保多辆受控的车辆安全高效的通过交叉路口。基于微缩交通平台的测试,则表明本文所提出的多传感器融合的室内定姿定位方法精度高效果稳定。同时,在云端控制模型车的模式下,也初步验证了深度强化学习能够应对交叉路口处的决策问题。
其他文献
近年来,我国一直大力发展县级融媒体建设,倡导将原本的县级电视台等县级媒体部门,通过融媒体这种新型的媒体运营模式结合在一起,团结力量干大事,推动传统媒体与新媒体从相“
随着生物特征识别技术的进步,这些技术获得了广阔的应用前景。相对于其他身份识别技术而言,指静脉识别技术更加安全、高效和稳定。然而目前采集到的指静脉图像普遍存在质量不
面对呈爆炸式增长的肺结节计算机断层扫描(Computed Tomography,CT)图像,能够迅速准确的对肺结节CT图像做出诊断,变成了一份艰难的工作。利用已经确诊的肺癌数据库中病例数据
随着纺织行业的迅速发展,纺织面料的类型愈来愈多,尤其是新型纺织纤维材料的研发和混合纺纱面料的普遍化,织物的识别和检测逐渐成为一个研究的热点。在纺织工业中,织物的识别
数字集群通信系统(TETRA)作为专业的移动通信系统,其发展和应用标志着现代专业用集群通信发展的方向。监控调度中心是TETRA数字集群通信系统最重要的部分,对其进行二次开发,可以更好的支持监控调度员进行全方面的指挥,还可以为系统提供监控调度通信以及监听等功能。本课题主要研究TETRA数字集群通信系统中的监控调度中心的设计与实现,主要工作包括:首先分析了TETRA数字集群通信系统发展趋势,并对TET
近些年,在医疗体制改革政策的影响下,医药行业得到了迅猛发展,药品市场的需求不断地增长。制药企业作为国内医药行业的重要组成部分更是迎来了发展机遇。但有关数据表明,近几
现代控制理论较传统控制取得跨越性的发展,电机控制领域朝着高电压大电流和更可靠的方向发展。面对电动汽车、民航电力系统和军工舰艇等对功率等级、调速性能以及可靠性要求
复杂网络在图论分析中有重要的研究价值,涉及各个学科领域,如:物理、通信、生物等。许多学者研究发现虽然复杂网络具有数据庞大、连接关系错综复杂的特点,却存在着一些重要的
准确的图像分割是医学图像分析和疾病诊断的前提和基础。但强度不均匀性、多组织干扰、边界模糊等是医学图像所面临的共同问题,它们对医学图像的准确分割产生巨大的挑战。为
股权激励作为一种激励方式的实践始于上世纪90年代的国企改革,当时,它还只是停留在一边探索一边实践的阶段。直到2005年以后,股权激励才逐渐开始在我国得到发展,其显著标志是