基于MPTCP和强化学习的多路径传输调度方法研究

来源 :张家琪 | 被引量 : 0次 | 上传用户:fooguo3007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多路径传输控制协议(MPTCP)允许传输控制协议(TCP)使用多个传输路径来最大化信道资源使用。MPTCP数据包调度器通过调度算法对各个路径的状态进行评估,根据不同的状态进行数据包调度。然而,随着网络环境变得越来越复杂,以及上层应用对网络传输的服务质量需求越来越高,传统的调度算法已无法适应当前的网络环境。因此,对MPTCP调度算法进行研究有助于提高MPTCP的传输效率和对网络环境的适应。本文利用深度强化学习方法对MPTCP的多路径数据包传输调度方法进行研究。基于启发式的MPTCP数据包调度方法在许多特定网络场景下取得了不错的传输效果,然而,静态的数据包调度规则却难以适应不同的网络环境。针对这一问题,本文将深度强化学习和启发式调度方法相结合,提出了基于深度Q神经网络(DQN)和最小化往返时延(Min RTT)的MPTCP数据包调度方法(DQN-R)。DQN-R利用DQN学习各种状态下最优的传输路径集合,并通过Min RTT启发式规则在路径集合中进行数据包调度,训练生成适用于非对称环境下的最优调度策略。在不同网络测试环境下对基于DQN-R的MPTCP传输性能进行实验,结果表明DQN-R传输性能优于对比方法。基于DQN的MPTCP数据包调度方法将传输调度过程建模为离散动作空间问题,搜索空间较小,易于训练,但这也使得算法的调度动作粒度较粗,难以达到最优的传输性能。针对这一问题,本文提出了基于Actor-Critic框架的MPTCP数据包调度方法(RLCAS)。RLCAS将决策网络分为Actor网络和Critic网络,通过训练Actor和Critic网络,使模型在不同网络状态下输出一个确定的最优调度动作。在不同网络测试环境下,将RLCAS与多种调度方法进行对比实验,结果表明RLCAS的传输性能优于对比方法,验证了方法的有效性。
其他文献
保险代理人作为直接触达消费者的核心节点,是寿险业长期倚重的核心渠道。随着中国寿险业由高速向高质量发展转型,代理人队伍粗放管理模式与行业高质量发展要求错配愈加凸显。决定和影响寿险业保险代理人现状与问题的底层逻辑是不同保险公司的保险代理人基本管理办法(以下简称基本法)。基本法改革能够从根本上解决代理人培育和管理方案中存在的问题,以适应新时代保险业高质量发展的要求。本文选取27家代表性保险机构37版基本
期刊
电商直播正在成为商家克服流量瓶颈,开拓市场的新型营销模式。选取鞋类品牌企业"洛亦直播间"为案例,在对直播主题、主播团队、直播产品、直播互动、直播效果等方面分析的基础上,提出了电商直播创新直播内容,提高商品力和提升服务力的优化策略。
会议
如今,随着经济、文化、科技的快速发展,人们的工作和生活节奏不断加快,人们每天都面临着巨大的压力,必须集中精力解决各种突发性问题和矛盾。中医在养生保健方面独具特色,对亚健康状态下的身体调养有指导作用。现代科学技术的融入与推动中医诊疗事业发展的前沿探索,与互联网的结合也是加快智能化转型的必经之路。本课题探索新的智能化中医健康调养场景,通过开发基于智能便携式脉诊仪的中医健康调养平台,实现用户在家中进行健
学位
明清时期粤中私家园林作为岭南园林集大成者,对粤中私家园林园址及相地的研究更有利于总结出岭南园林的地域性特色,发掘古人人居环境的营造智慧。本文以明清时期粤中地区私家园林为研究对象,通过文献查阅、实地调研、历史地图、分析归纳、比较研究等方法,梳理总结明清时期粤中私家园林的分布特点、园址特征和相地手法。以《园冶》相地思想为基础,结合相关史料解读与理论分析,探索粤中私家园林相地的地域特色与手法。研究希望补
学位
对于物质的结构和功能之间构效关系的研究一直是材料科学等领域所关注的主题之一。而纳米结构的可控构筑,实现对物质在纳米尺度上的加工,是研究纳米材料复杂功能性的基础。与传统“自上而下”(top-down)的微纳加工技术相对应,“自下而上”(bottom-up)的自组装(self-assembly)技术是近年来广受关注的在纳米尺度创造新的结构、新的物质,进而实现新的功能的重要方法之一。树枝状分子作为一类具
学位
目前涵道飞行器研究主要集中在悬停点附近垂直模态的控制与应用,本文侧重于涵道风扇动力新构型飞行器水平模态控制及其多模态转换机理研究。涵道风扇动力尾座式垂直起降飞行器是一种新型的尾座式飞行器,该飞行器具备垂直飞行/水平飞行/过渡飞行等多种飞行模态。由于采用了涵道风扇与组合控制舵面构成的矢量动力系统,其低速、大迎角状态下控制能力更强,具备更优秀的过失速机动性能。但涵道风扇的引入也极大地增加了其自主飞行控
学位
近年来,越来越多的服务部署在云中,数据中心的规模随之快速扩张。数据中心高速发展的同时也带来了高能耗问题,能源成本的提升和绿色环保的要求迫使产业界将关注重点从性能转移到数据中心的能源效率。虽然数据中心的PUE值近几年来得到了稳步提升,但是服务器层面的能效仍然是一个问题。为了提高服务器的能源效率,首先需要能够测量和评估这种能源效率,基准测试是科学评估的一种方式。目前基准测试存在两个挑战:1)基准套件中
学位
在当今世界传统的化石能源枯竭以及生态环境日益恶劣的局面下,本论文着重围绕光催化技术在新能源开发和污水处理两个方面开展研究。针对传统光催化基础性半导体材料Cd S稳定性差且光腐蚀性强以及光生电子-空穴对容易复合的科学性问题,设计并研究了以二维纳米材料Mo S2,MXene Ti3C2和石墨烯为助催化剂协同Cd0.5Zn0.5S的复合型光催化材料体系以增强光催化的性能。本论文主要的研究内容及成果如下:
学位
齿轮传动在机械传动中占据重要地位。随着机电产品的快速发展,齿轮产品的应用和需求不断增加,使齿轮产品朝着精密化,轻量化,小型化,绿色化的方向发展。另一方面,应用于高端智能装备的高精密齿轮减速器对我国制造业的健康发展有着重要的影响。面对蓬勃发展的小型机电产品和高精密齿轮减速器的巨大需求,研究新型齿轮传动机构具有重要的价值。陈扬枝教授发明的线齿轮是一种新型齿轮传动机构,其设计理论是空间共轭曲线啮合理论。
学位
在基于碳-碳及碳-氮三键单体的聚合反应中,炔基单体的硫氢化聚合与胺氢化聚合作为高效便捷的合成反应,常用于制备主链含杂原子的聚合物。其中,吸电子基团取代炔基氢原子的“酯基活化炔和羰基活化炔”分别成为了制备不饱和杂原子聚合物的重要反应单体。然而,目前基于炔基的聚合反应大多采用的催化剂含过渡金属,制得的产物中存在金属残留难以去除的问题。在合成化学中,炔与羟基化合物的烷氧化反应因其合成方法简便且效率高,是
学位