融合强化学习与业务感知的弹性光网络资源分配

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:hobbysh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前各种视频业务、云计算以及数据中心等大流量业务的出现,对承载通信业务的光网络性能提出了更高的要求。传统的基于WDM的光网络采用固定波长间隔,无法灵活地为小带宽业务分配合适的波长资源。同时为了防止相邻波长之间相互干扰,WDM光网络需要在波长之间设置保护带宽,进一步加剧了WDM光网络中的频谱资源浪费。为解决上述WDM光网络的问题,提升光网络资源利用率,研究人员提出了弹性光网络的概念,将WDM光网络的固定频谱栅格进一步划分,获得更细的粒度,因此针对不同的业务需求,可以实现更灵活的资源分配。在弹性光网络中,路由和频谱分配策略是主要的研究热点之一。本文主要对弹性光网络中的路由和频谱分配策略进行研究。首先,本文提出DQN-RSA算法,将强化学习中的DQN框架应用于弹性光网络的RSA过程中,利用强化学习的学习和决策能力以及神经网络的感知能力,在进行路由和频谱分配时,选择最优的动作进行输出。仿真实验结果表明,在给定不同业务量的情况下,DQN-RSA算法在业务阻塞率和频谱碎片化程度方面的表现均优于传统的基于最短路径和首次匹配的SP-FF-RSA算法。其次,本文提出一种融合业务感知与强化学习的RSA算法:SA-A3C-RSA。利用强化学习中的A3C算法,针对网络中存在的各种业务需求和业务类型,在请求到达时,通过业务感知,对业务的类型和需求进行分析,再将其作为状态数据输入到A3C算法的神经网络中。经过神经网络对状态数据的特征提取以及强化学习的训练,输出当前状态下的最佳路径和频谱资源分配方案,从而为当前的业务请求建立光路。仿真实验结果表明,SA-A3C-RSA算法在业务阻塞率和频谱资源利用率方面的表现均优于SP-FF-RSA算法。最后,通过实验对SA-A3C-RSA算法的鲁棒性进行了验证。相比于传统的SP-FF-RSA算法,本文提出的DQN-RSA和SA-A3C-RSA算法均能有效地降低网络中的业务阻塞率和频谱的破碎化程度,同时提高频谱资源利用率。
其他文献
真空管道运输(Evacuated Tube Transport,ETT)是一种以磁悬浮轨道技术为基础,构建管道形式的真空运行环境,实现列车零空气阻力、无摩擦运行的交通运输形式。目前国内外已经开展了ETT试验线项目研究,如国外Hyperloop项目和国内高速飞车项目。车地无线通信系统作为高速飞车运行控制系统重要的组成部分,承载了列车运行控制、运行状态监测等系统业务,与其他列控子系统共同保障了列车的安
随着科学技术和工业自动化水平的不断发展,列车运行速度也得到了一定的提升。道岔转辙机作为控制列车运行方向的核心设备,对其故障的精确和快速诊断是保障列车运行安全的重要基础。目前,铁路运维主要利用微机监测系统对道岔设备进行故障监测,系统报警往往对应了多种不同的故障模型,实际的排查仍是通过现场工人的天窗检测。为了保证设备的安全性,现场无法在转辙机内部安装传感器设备,这需要电务、工务工人不断进行信息交流,当
随着航空制造业的不断发展,对航空发动机叶片提出了越来越高的性能要求,对钛合金风扇叶片加工也提出了越来越高的精度要求。大量研究表明,叶片实际加工中,设置叶片加工参数对叶片叶型轮廓度误差有很大影响。因此,优化钛合金叶片加工参数是减小叶片叶型轮廓度误差的重要手段之一。本论文针对中国航空制造技术研究院叶片加工存在轮廓度超差的问题,基于数据挖掘技术中的统计分析法和决策树分类法进行了叶片加工参数优化,对减小钛
近年来,视频监控在各种智能工业应用中起到日益重要的作用,如何高效地从视频中自动获取目标的有效信息就成为了一个很有价值的研究内容。研究者们提出了很多静态图像的目标检测算法,但是因为视频中存在大量的运动模糊、失焦、遮挡和奇异姿势等问题,会导致图像质量退化,所以静态图像的目标检测方法并不能很好地适配到视频目标检测中去。目前也有部分关于视频目标检测算法的研究,但大部分算法只是单方面的追求效率或检测质量,并
太赫兹频段能够实现超宽带,超高传输速率的通信方式[1],编码超构材料是一种人工设计的亚波长结构,其电磁特性可以通过人工设计的方式进行控制,在太赫兹波束调控领域展现了卓越的控制能力[2]。为了进一步推进编码超构材料在太赫兹通信技术中的落地,本文创新性的从相位特性角度解释了极化转换实现原理,并基于极化转换理论和Pancharatnam–Berry相理论,提出了集成石墨烯材料的E字形金属贴片编码超构材料
近年来,随着人们出行需求的增加和汽车保有量的快速增长,城市道路拥堵情况愈加严重。与此同时,智慧交通不断发展,无人驾驶技术愈渐成熟,实现前方道路透明化、完善智慧交通管理系统、缓解交通压力成为交通发展的首要任务。为实现前方道路透明化、为自动驾驶车辆进入人们生活、提供人机混跑的可能,作者所在科研团队提出了出行计划机理,即出行者在出行前发布出行时间、出发地、目的地,致力于构建基于出行计划的智慧交通管理系统
近年来重载化成为我国铁路的主要发展方向,曲线段钢轨的磨损问题日益严重。与传统的珠光体钢轨相比,贝氏体钢轨在抗磨损和抗滚动接触疲劳性能等方面表现较为优异,同等条件下其服役寿命高于传统的珠光体钢轨。具有高强度和良好韧性的贝氏体钢轨得到了科研人员的广泛关注。本文以贝氏体钢轨为研究对象,通过进行不同的热处理工艺获得了不同的显微组织。在滚动摩擦磨损实验机上进行实验,主要从磨损量、磨损表面形貌以及剖面裂纹萌生
运输服务质量是货主选择运输方式的重要依据,保障时效性和准时性已经成为各种运输方式提高市场竞争力的主要手段。铁路运输一直注重空间效用提升,时效性和准时性已经成为制约其进一步发展的短板。实施以保证铁路货物运输时效性为最终目标的规划型运输组织模式,是铁路适应市场发展和提高服务质量的有效途径。设计基于时空隧道的规划型铁路运输组织方案以及构建方案编制的数学模型,有助于推进规划型运输组织理论研究和实践应用,为
随着万物互联时代的到来,物联网设备在数量爆炸式增长的同时产生了海量的实时数据,传统的云计算方式无法满足计算需求,边缘计算作为一种新的计算范式被广泛应用。与此同时,深度神经网络技术高速发展,将人工智能融入边缘计算,使得边缘设备逐步智能化的需求也愈发旺盛。然而,由于深度神经网络模型高存储、高功耗,而边缘设备却资源受限、续航不足,因此边缘计算深度神经网络模型往往面临着巨大的挑战。首先,针对单个资源受限的
矮塔斜拉桥是近几十年兴起的,一种介于斜拉桥和连续梁桥之间的组合体系桥梁。由于其施工方便,外形美观,且具有良好的经济效益,我国在21世纪之后陆续建造了多座矮塔斜拉桥。非平稳地震动建模是研究大跨度桥梁地震动力响应的重要前提,现有桥梁地震响应分析多用时程分析法和反应谱法。但是,上述方法均使用确定性的地震激励,其结果无法体现结构响应的随机特征。因此本文建立了基于小波分析的地震动非平稳模型,并使用具有统计学