基于强化学习的智慧交通信号控制研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:gardeeen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着城市化进程的发展,交通拥堵已经成为严重的社会问题。研发高效的交通信号控制算法不仅可以降低由于交通拥堵造成的经济损失,还可以提升人们的出行效率。作为一种高效的复杂系统控制优化解决方案,强化学习被越来越多地应用到交通信号控制领域。然而,基于强化学习的交通信号控制方法其性能严重依赖于对交通环境的精确建模。受交通基础设施的限制,部分交通网络中的车辆动态信息难以实时获取,这就导致很多现有的强化学习算法难以适配真实的交通环境或学习过程收敛速度慢。因此,在车辆动态观察受限的情况下,如何快速地构造面向交通信号控制的高质量强化学习模型成为一大挑战。此外,随着V2X技术的发展,越来越多的车辆动态信息(如车辆速度、等待时间等)能够被实时获取。如何综合利用这些信息实现对强化学习模型中状态与奖励机制的精确建模,挖掘强化学习的潜力也成为了一大挑战。针对上述挑战,本文研发了面向不同交通场景的基于强化学习的交通信号控制算法及其系统,旨在降低车辆平均出行时间的同时加快强化学习模型收敛速度。本文主要贡献如下:(1)针对车辆动态信息观察受限的交通场景,提出了一种基于路口聚类的快速强化学习算法。该算法利用车辆数量信息实现了交通压力建模和强化学习建模,并基于交通流量信息对交通路口进行了聚类划分。通过精确的强化学习建模和对交通路口的集中控制,算法能够快速学习到高质量信号控制策略。(2)针对车辆动态信息易观察的交通场景,提出了一种交通强度和相位时长感知的高效强化学习算法。该算法基于车辆动态信息,创新性地提出了交通强度的概念,实现了对强化学习状态和奖励的精确建模。算法还支持根据车辆数量和速度信息进行动态相位时长的选择,大大降低了车辆平均出行时间。(3)基于One NET物联网平台,研发了支持强化学习算法部署的“云—端”协同交通信号控制系统。该系统支持从交通环境中实时获取交通数据,实现了基于强化学习方法的实时交通信号控制。在不同路网规模的真实交通数据集和仿真交通数据集中的实验结果表明,与其他最新的交通信号控制算法相比,本文提出的方法可以在显著降低车辆平均出行时间的同时加快强化学习模型收敛速度。
其他文献
随着近几年“黑天鹅”事件的频发,居民收入和消费水平深受影响。为研究各省之间居民收入和消费水平状况,本文选取了全国31个省份(不包括港澳台)的居民消费水平和人均GDP的数据,通过描述性统计进行分析。研究得出了相关结论,并提出了针对性建议,以期助力我国经济高质量发展。
期刊
互联网时代使用深度学习技术保护个人隐私成为一种新的可行方案。在公共网络社交中,用户的声音特征、面貌特征保护主要依赖于通信软件的加密算法,在终端和链路中缺乏针对特定隐私的保护。论文针对现有语音识别、语音合成、声纹识别、信号处理等语音技术,提出一套基于语音技术保护用户身份隐私的安全通信方案。论文提出的方案分为本地端处理和服务端部署两个部分。在本地端综合信号处理和模型处理两种方法,对语音数据做声纹去识别
学位
文本风格迁移是自然语言处理领域中一个前沿的细分领域,具有重要的研究和工业应用价值。本文在前人研究的基础上,通过对比发现以往模型的不足,进而找到本文的研究目标,即针对现有模型无法实现文本内容和风格保留的平衡的问题,以及现有模型往往只能针对一种语料库,无法对平行语料和非平行语料均做针对性优化的问题,展开了研究探索,本文提出了一种基于关键词和语法树的文本风格迁移模型,不仅解决了现有模型的上述两个问题,而
学位
近些年由于互联网的快速发展,其在为我们提供便利的同时也到导致了“信息过载”的问题,而推荐系统就是为了在海量数据的情况下将用户感兴趣的物品快速准确地推荐给用户。近些年深度学习与流处理框架在推荐领域被广泛应用,相比于传统推荐模型,深度学习推荐模型表达能力更强。相比于传统的大数据处理框架,流处理框架能够更加及时地获取用户兴趣的实时变化,提升推荐系统推荐的实时性与准确性。目前的推荐系统存在以下几点问题:(
学位
制造执行软件在生产制造中的作用越来越重要,如果发生质量问题,不仅会影响生产制造过程,而且会造成重大损失。未充分考虑软件设计阶段的可信性是产生软件质量问题的重要原因,软件可信性度量方法在保证软件质量方面受到广泛重视,为了提升软件质量,需要度量软件设计阶段的可信性。本文着重关注制造执行软件设计阶段的可信性,研究制造执行软件设计阶段性质与可信性之间的关系,构建制造执行软件设计阶段的可信性度量模型。本文研
学位
十四五期间,在国家制定双碳目标的利好政策下,可再生能源发电方式逐渐在新型电力系统中占据核心地位,其中光伏发电被视为是整个可再生能源中最可靠的选择,各国也都对光伏产业发布了政策支持。随着各省光伏电站的投建和并网的规模逐渐增大,大多光伏电站都建立在环境恶劣的偏远地方,并且每个光伏电站都配置了一套独立的本地监控,仅能单独管控,且实际运维管理仍旧采用纸质+Excel电子表格的传统方式,存在数据统计困难等问
学位
房间布局重建是计算机视觉领域重要的研究课题,在室内场景理解中发挥重要的作用。布局重建任务旨在定位墙角三维坐标,重建三维房间布局。全景图的视场角(FoV)为360°,与透视图相比具有全局上下文优势,可以为布局重建提供完整的几何结构信息。最近,利用深度神经网络对全景图进行三维布局重建已经取得了很大的进展。然而,目前很多算法首先定位墙与地板边界和墙与天花板边界,再经过后处理得到墙角来重建房间布局,这导致
学位
绘画材料语言系统中,材料是区别画种的决定性因素,纷繁的材料都有其独特之处,不同材料在同一个绘画语言系统中会产生出特殊的美感。坦培拉作为一种古老的材料,以其特殊、全面、自由的语言系统为当代艺术家们的绘画创作提供了不一样的绘画表达方式。当代坦培拉打破了传统坦培拉材料绘画的局限,改变了大众对于坦培拉绘画的认知与审美方式。本文并非对坦培拉和水溶性材料进行脉络式的罗列,而是探究其发展历程,通过历史总结其发展
学位
清代是古代文学理论与文体发展的总结期,各种文体均已具备且发展比较完善。加之清代试赋制度复兴,指导士子作赋的专书开始涌现,余丙照《赋学指南》遂应运而生。《赋学指南》一书包含了余丙照对赋体源流的看法,余氏对赋体起源的观点与班固一脉相承,认为“赋者,古诗之流”。不过两者出发点则大相径庭,余氏所论是基于赋作“当隐寓深情”的认识,与班固极力强调赋作的政治功用不同。对于赋体流变,余氏亦论述了自两汉六朝至唐宋及
学位
信息化建设的飞速发展和数据采集存储能力的极大提升使得函数型数据在经济、生物、医学等许多领域都广泛存在和积累,函数型数据分析相关理论和方法得到快速发展.在函数型数据分析里一个重要的基础性问题是检验两组或多组数据是否来自同一个分布,这就是统计上函数型数据的齐性检验问题.最简单的情况是考察函数型数据的均值函数是否相同问题,这个问题已经获得了广泛研究.Cuevas等(2004)提出的基于L2范数的检验方法
学位