【摘 要】
:
近年来随着5G、云计算、物联网的快速发展,各种网络应用层出不穷,网络规模不断扩大,网络流量爆发式增长。如何通过对网络流量的合理调度,避免网络拥塞,提高网络资源利用率,保证用户体验质量,越来越成为网络领域需要重点研究的问题。随着SDN网络架构的提出和对网络数据收集、分析能力的增强,再加之深度学习与深度强化学习在自适应学习、自动控制等领域的突破性进展,为可实时适应网络变化的动态、智能流量调度方法的实现
论文部分内容阅读
近年来随着5G、云计算、物联网的快速发展,各种网络应用层出不穷,网络规模不断扩大,网络流量爆发式增长。如何通过对网络流量的合理调度,避免网络拥塞,提高网络资源利用率,保证用户体验质量,越来越成为网络领域需要重点研究的问题。随着SDN网络架构的提出和对网络数据收集、分析能力的增强,再加之深度学习与深度强化学习在自适应学习、自动控制等领域的突破性进展,为可实时适应网络变化的动态、智能流量调度方法的实现提供了可能。本文对网络流量调度问题进行了深入研究,提出了基于数据驱动的网络流量调度优化方法。应用了深度强化学习和图神经网络技术,在SDN(Software Defined Network)网络中对流量传输进行了优化,实现了实时、动态、自适应的流量调度,有效提升了网络资源利用率和数据传输质量。本文主要研究内容和创新点如下:首先,针对现有流量调度方法缺乏动态适应性的问题,提出了一种新的基于数据驱动的网络流量调度算法——FS-DD(Flow Scheduling-Data Driven)。利用深度强化学习方法,以流量需求矩阵作为状态输入,在与不同网络状态的不断交互中去训练智能体(Agent)。使其学习到如何在不同网络状态下选取出对网络拥塞影响最大的关键数据流集合,然后通过对这些数据流的调度达到减轻网络拥塞,降低网络时延,提高链路利用率的目标。其次,针对FS-DD算法在任务的动作空间随着网络规模增大而增大时,表现出的算法收敛速度减慢,学习效率不高的问题。结合利用并行探索环境空间机制加快训练速度的A3C(Asynchronous advantage actor-critic)算法,提出改进的网络流量调度算法——FS-A3C(Flow Scheduling-Asynchronous advantage actor-critic)。并且在输入的网络状态表示中加入链路负载信息,提高对关键数据流特征表示学习的准确性,进一步加快训练速度。第三,针对已有基于数据驱动的流量调度方法在网络拓扑等网络环境参数变化后适应性不足的问题。本文对基于数据驱动的网络流量调度方法的泛化能力进行了讨论,结合该方法中涉及的图类型数据结构(网络拓扑)与流量传输过程来讨论方法可能存在的组合泛化能力[1]。在FS-A3C算法中加入基于图神经网络的消息传递网络,实现了改进的网络流量调度算法——FS-GNA3C(Flow Scheduling-Graph Network Asynchronous Advantage Actor-critic)。提高了智能体在未知(unseen)网络状态与未知网络拓扑上的性能表现,提升了方法的泛化能力。最后,利用Python、Tensor Flow和NS3-gym工具,搭建了本文提出的基于数据驱动的网络流量调度方法仿真平台。通过实验验证了本文提出的流量调度方法相比已有的基于深度强化学习的流量控制算法(DRL-TE)以及传统的Top-K Critical、ECMP算法,在时延优化方面平均分别有约5.2%、14.3%和30%的提升,同时实现了更优的负载均衡。在收敛速度方面,改进的FS-A3C、FS-GNA3C算法相较于FS-DD算法有约7%的提升。在泛化性方面,改进的FS-GNA3C算法在两个测试环境中的时延优化表现相比FS-A3C算法分别由有接近9%和18%的提升。说明本文所提出的方法能对网络流量进行有效的调度,优化网络性能,改进的算法能够提升方法的收敛速度,并使得方法具有一定的泛化能力。
其他文献
随着科技水平的突飞猛进,人们对于电子产品的需求和依赖大大提高。印刷电路板组件(PCBA)作为电子产品中的核心元件,它的可靠性直接影响着电子产品的寿命。因此,人们一直在追寻探索一种高效清洁的PCBA清洗方法。而二氧化碳雪清洗在清洗金属表面,半导体元件,精密仪器等方面都有着良好的表现。不仅对电子元件表面无损伤,而且作为一种绿色清洗技术,它对环境的影响较小,没有残留副产物的产生。然而,系统性地利用二氧化
随着我国经济发展速度的提高,在工业高端制造领域,对加工能力有了更高的要求。“中国制造2025”明确提出将数控机床列为“战略必争领域”,发展数控机床产业已成为国家战略。近年来,自动控制技术、计算机技术以及人机交互界面技术发展都比较完善,在汽车、动车、飞机、航天、航空、兵器装备等工业领域,很多零部件存在各种样式的孔,数控钻床已成为这些孔在进行钻削加工时的首选。本课题来源于导师与四川省科技厅共同合作的省
并联机器人作为一类全新结构的工业机器人,经过半个世纪的发展,已经得到深入研究和广泛应用。相比于串联机器人,并联机器人具有精度高、刚度大、承载能力强、易于控制等诸多优势,被广泛应用于航天、航空、精密制造业等高精尖领域。以并联机器人为执行机构实现复杂型面、不规则孔洞等的原位高精度加工就是一种并联机器人新的应用场景。要实现并联机器人对不同类型工件的加工,首先需要对其机构自由度、运动学性能等方面进行研究。
宫颈癌一直危害着女性的身体健康,也是现代医学治疗领域中的一大难题。目前主流的治疗方式是采用化疗和放疗相结合,放疗一般又分为外照射和内照射。宫颈癌位于子宫颈部,如果采用外照射的放射方式,由于外照射放射剂量大而且范围广,从外向内进行照射,就会对其他正常的组织细胞产生伤害。所以一般采用近距离放疗的方式,它剂量低,辐射范围只针对肿瘤区域,粒子从内向外辐射,即能起到杀死肿瘤的作用,还减小了正常细胞的伤害,在
科学技术的发展带来了机器人技术的革新,从最初的只能示教再现的机器人,到具有初步感知编程能力的机器人,再到如今高度智能化的机器人,机器人技术经历了飞速发展的60年。如今,机器人在工业生产中扮演着重要的角色,展现出了巨大的发展前景。尽管机器人技术进步飞速,但六轴机器人的轨迹规划一直是一个难题,末端执行器在运行空间直线,空间圆弧等轨迹时,仍然会有描述轨迹的计算量过大,关节轴冲击过大和运行时间过长等问题,
SDN(Software Defined Network)是一种新型的网络架构,解耦控制平面与数据平面,实现网络的集中控制,有效解决了传统网络配置复杂、设备管理困难等问题,能更好的实现全局优化。但随着网络规模的不断扩张,单控制器部署有限的处理能力以及易出现单点失效等问题,已成为整个SDN网络的瓶颈。因而多控制器部署已成为必然趋势。但由于网络流量具有时变性和突发性,极易引发控制平面负载不均衡,致使网
叶片是航空发动机、燃气轮机等动力机械中的重要零件,其型面的加工质量严重影响着整机的工作性能,因此对其型面轮廓进行检测是十分必要的。叶片型面一般为变截面的扭转曲面,同时型面曲率变化较大,具有较大的检测难度。传统三坐标测量法通过获取叶片型面特定截面的轮廓数据评价出叶片加工质量,适用于精加工叶片的检测,无法反映出叶片整体的尺寸偏差,同时对检测环境具有较高的要求,无法实现叶片在线检测。随着光学测量技术的发
由于航空发动机机体结构复杂,具有拆装难、维修不易的特点,新手操作者对各种发动机零件类型的不熟悉,在航空发动机换发领域存在培训难上手、实践成本高等问题,因此,常利用目标检测方法对零件类型进行分类检测。但由于实际环境中零件堆放杂乱,容易出现遮挡的情况,利用传统的单一目标二维识别方法会因为无法提取足够的特征信息,易出现错误的检测结果,无法满足需求;同时,传统的换发培训流程是基于纸质或电子文档,培训效率较
随着网络规模的增大和新型网络应用的不断出现,网络流量呈指数级增长,如何根据网络的状态和需求找到一种实时的自适应的智能路由是提高网络资源利用和服务质量的关键。SDN(Software Defined Networks)的出现提供了灵活高效的网络控制,降低了路由优化的难度。数据驱动的方法适应并优化了网络的实际状态,随着机器学习在很多领域取得了非常不错的进展,许多研究者开始尝试使用机器学习来解决路由优化
三维人脸重建技术逐渐开始受到学者们的关注并在安防、医疗美容、影视娱乐等多个领域进行应用。目前三维采集需要通过昂贵的专业三维采集设备且需要较长的采集时间,而基于单张照片的三维人脸重建技术具有只需要用手机就能对人脸进行采集的优点。目前基于二维人脸照片进行三维人脸重建的算法生成三维人脸模型不能很好的表示人脸的细节信息,如皱纹等。对于以上问题,本文提出一种利用卷积神经网络对单张人脸照片重建出具有细节信息的