基于近端策略优化的云边协同网络路由研究

来源 :许志敏 | 被引量 : 0次 | 上传用户:wenxiaoyao1214
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智慧城市的建设,物联网终端设备也在高速发展,由此产生的物联网大数据对广域网造成了巨大的网络压力。为了缓解广域网拥塞情况,云边协同架构选择在接近边缘设备处设置有限的计算资源,边缘计算资源可以有效减轻云端计算压力并提高用户服务体验质量(Quality of Experience,Qo E)。尽管如此,云边协同架构高度依赖中间层的网络状况,同时面临着多种服务类型数据流融合的挑战。一方面,终端设备产生的海量数据及云边协同所带来的数据通信对网络层的性能提出了很高的要求。另一方面,多种服务融合是互联网的发展方向,云边协同架构网络层需要对不同服务类型数据提供不同侧重点的转发工作。因此,如何保证面向多种服务融合数据流的云边协同网络服务质量(Quality of Service,Qo S)具有重要的研究意义。本课题将以多种服务融合的云边协同网络为研究对象,致力于构建一个高性能、稳定、可扩展的云边协同网络,主要进行以下研究。第一,分析了云边协同网络的分层结构,并决定采用软件定义网络(Software Defined Network,SDN)来构建云边协同架构网络层,再对软件定义网络工作原理进行了详细的介绍。第二,设计了基于软件定义网络的云边协同网络仿真系统,网络拓扑采用现实网络拓扑结构,数据流模型加入服务类型信息,并根据现实情况为不同服务类型数据流设置相应的参数信息,再根据系统需求设计其控制器模块。在仿真网络系统实现最短路径路由算法和负载均衡路由算法两种传统路由算法,该仿真结果与后续算法仿真结果形成对照。第三,提出了一种针对云边协同架构网络的近端策略优化(Proximal Policy Optimization,PPO)在线路由算法。将逐跳路由方式建模为多智能体马尔科夫模型,通过分析集中式和分布式路由特点来选择状态信息,并为不同服务类型数据流设置不同的奖励信息,在策略网络结构设置时充分考虑网络的扩展性。第四,提出了一种带有保护机制的近端策略优化在线路由算法。为近端策略优化路由算法设置预训练来加速模型收敛,并对模型设置环路检测和拥塞检测保护机制来避免强化学习无意义的探索动作。本课题所设计的带有保护机制的近端策略优化在线路由算法有效地提升了网络性能,在低负载的网络场景下平均时延性能上相较于最短路径路由算法降低了40.9%,相较于负载均衡路由算法时延性能降低了24.0%;在重负载的网络场景下数据流的平均时延性能表现相较于最短路径路由算法降低了32.7%,相较于负载均衡路由算法降低了了31.6%,在数据流吞吐量的表现相较于最短路径路由算法数据流平均传输速率分别提高了55.3Kbps,相较于负载均衡路由算法平均速率提升了38.8Kbps。算法具有良好的鲁棒性,在链路故障、路由器故障等情况下也能快速完成数据流转发工作,同时具备优秀的扩展性,可任意在网络中添加网络设备。
其他文献
在传统的汽车、家具等行业中大多通过人工喷涂的方式完成喷涂作业。喷涂过程中会产生大量有害物质,长期处于这种喷涂环境,进行重复度较高的喷涂作业,对工作人员的身心健康带来巨大伤害。喷涂机器人的实现可以替代传统人工喷涂,然而,喷涂机器人一般只能在固定的工作环境下进行单一、重复的喷涂工作,柔性工作能力差。为解决这一问题,建立具有目标检测功能的手眼系统。使用基于深度学习的目标检测方法,实现对被喷涂物体和机械臂
学位
这些年移动通信技术正蓬勃发展,研究空天地一体化通信网能促进实现广域全覆盖及网络互联互通,具有重要意义。星地通信网空口融合作为其中的重要组成部分被人广泛讨论,空口技术需要同时适配地面信道和卫星信道。新近提出的正交chirp分复用技术(Orthogonal Chirp Division Multiplexing,OCDM)具有抗多径干扰、抗多普勒拓展特性,且可兼容到现有OFDM系统,可作为空口融合的候
学位
随着人类社会在政治、经济和军事等领域的飞速发展,人类的活动范围也在不断扩大,同时对导航知识的发展也提出了越来越多的要求。传统的导航定位方法有着穿透性弱、工作需要视距条件或者工作时会产生累积误差等劣势,在地穴、隧道或矿井等地下环境中的定位误差较大,甚至无法被应用。低频磁信标定位系统具有强穿透性、强鲁棒性、高稳定性以及抗干扰性,且工作时不需要视距条件,不会产生多径效应,能够在不产生累积误差的前提下提供
学位
目的:观察蔓性千斤拔素D对大鼠胶原诱导型关节炎(CIA)的作用并探讨其作用机制。方法:将40只大鼠随机分为正常组、CIA组、甲氨蝶呤(MTX)组(1.35 mg·kg-1·w-1)、蔓性千斤拔素D低剂量组(1.5 mg·kg-1)以及蔓性千斤拔素D高剂量组(3.0 mg·kg-1),每组8只,除正常组外,其余均采用Ⅱ型胶原诱导CIA模型。给药组通过灌胃给予相应药液,正常组给予相应体积生理盐水,MT
期刊
党的十九大上,中央提出了乡村振兴战略,对农村更美、农民更富、农业更强提出了更高的期望与要求。农村电子商务直接扎根于农村服务于三农,有效推动“三农”发展,在乡村振兴背景下扮演着越来越重要的角色。各地政府对扶持电商发展路径进行了大胆尝试,有效推动了农村电商产业发展。近年来,基层政府在推进农村电商发展过程因受经验缺乏、治理能力不足等因素,农村电商治理问题逐步凸显,农村电商参与的多方主体间矛盾逐步显现,对
学位
随着边缘计算的发展,出现了越来越多高算力的边缘AI设备,相比于云计算集群,边缘设备具有低延迟、低能耗、低价格、体积小易部署、异构灵活性高等优点。同时,边缘场景下的任务复杂性也在不断提高,需要多种不同深度学习模型共同完成某项任务,因此边缘设备上通常需要同时部署不同模型,并发推理,由此出现了许多值得研究的问题。本文首先测试了不同轻量级深度学习模型在不同边缘设备上并发推理的性能降级和功率,发现了各种异构
学位
冻土是一种由土颗粒、冰、液态水和气体组成的多相复合体,其中水受环境温度的影响在固相与液相间相互转化,导致冻土的力学特性具有强烈的温度敏感性和流变性,冻土的这种力学特性导致路基土体的冻胀和融沉等病害,为寒区工程建设带来很大的技术难题。我国冻土面积约占国土面积的75%,其中季节性冻土占国土面积的53.5%。近年来,我国越来越多的大型工程项目在季节性冻土区展开,因而对冻土融化过程水热迁移及其应力应变规律
学位
随着无线通信的快速发展,通信场景也日趋复杂化,通信过程中的多径效应与通信单位间的移动性使信道具有延时拓展与多普勒拓展。为了在双选信道下保持良好的通信性能,学界从信息预编码、时空分集等等不同的角度提出了多种多样的方案,相较之下,本研究则从信号与信道的适配角度出发。由于不同信道间的延时拓展与多普勒拓展程度不尽相同,相应的其时频域的信道表征也不同,不同信道使信号趋于不同的能量分布,故合理利用这个特点,针
学位
经过数十年的发展,合成孔径雷达(SAR)已逐渐从低分辨、窄测绘带迈向高分辨、宽测绘带(HRWS)的工作模式。且伴随军事、民用领域需求的提高,要求SAR系统不仅可以实现对于静止场景的重构,还需对于场景中的运动目标进行检测与成像(GMTI),并正确定位到背景图像中,因此,对于宽幅场景内动目标的成像方法逐渐成为SAR的重要研究方向之一。基于上述背景,本文开展了对于宽幅场景下静止、运动目标的综合成像方法研
学位
滥用市场支配地位在《反垄断法》规定的垄断行为中处于首要位置。当经营者为公用企业时,关于如何认定其具备市场支配地位以及存在滥用行为,司法实务中仍需要清晰明确的规定,加以弄清该认定标准问题,如此不仅可以让公用企业规制自身行为去避免滥用市场支配地位,也能为其他经营者敲响警钟,以此保障市场交易秩序与安全,对于反对垄断与保持市场良性竞争具有持续且深度的意义。
期刊