边缘计算中基于强化学习优化计算卸载策略的研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:xialin1983922
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多接入边缘计算(MEC)是5G及未来网络中一种新兴的、重要的云计算架构,旨在将云服务扩展到网络边缘。终端用户设备可以把应用任务卸载到MEC进行计算,以减少应用服务延迟和能耗,带来较好的服务质量(Qo S)。因此,为了尽可能地降低应用任务的延迟和能耗,对MEC任务卸载策略进行优化是至关重要的。然而,MEC系统环境和终端应用任务的复杂、多变性导致优化MEC任务卸载并非易事。本论文对现有的相关研究调研发现,传统的优化方法通常是基于专家知识的简化数学模型和特定启发式算法。但当面对动态的MEC场景时,需要大量的人力和专业知识来重新设计模型和调整启发式方法,这是很费时耗力的。其次,也有研究用机器学习来做MEC任务卸载策略优化的,但他们仍存在一些问题:一是优化目标较为单一,以任务时延为主;二是与启发式方法类似,无法较好地适应复杂多变的MEC系统环境。考虑到这些方法的局限性,本文提出使用深度强化学习(DRL)方法来处理MEC系统的任务卸载策略优化问题。本论文先对任务进行细粒度的有向无环图(DAG)建模分析,充分地考虑任务的复杂度和内部依赖关系,设计了DAG拓扑优先级算法来丰富DAG任务序列的信息,为DRL学习训练提供较好的信息输入,使系统能够自行学习最佳卸载策略。把MEC计算卸载问题转换为马尔科夫决策过程,并为DAG任务序列设计了编码-解码的递归神经网络来做任务输入到卸载决策的映射,运用DRL方法来训练优化卸载策略。量化任务时延-能耗的综合收益,并以此为优化目标,实验分析证明了基于DRL的方法在MEC系统关键优化问题任务卸载上的有效性。在不同场景下的实验结果表明,本文基于深度强化学习优化MEC细粒度任务卸载策略(DFTOSD)取得的时延-能耗综合收益比现有的启发式算法、一般的强化学习方法以及贪婪算法都要高出0.1-0.3左右。在此基础上,进一步讨论分析了影响MEC任务卸载策略时延-能耗综合收益的关键因素——网络带宽。为此,本论文又整合了深度强化学习来优化MEC系统下接入终端数量引起的网络带宽问题。仿真实验表明,本文提出的DRL网络优化算法(DRL-CW)可以较好地降低接入设备数量增加对网络带宽的负面影响,相对于默认的指数退避算法能提高约36%的性能。最后,本论文在DFTOSD和DRL-CW的基础上,提出基于深度强化学习联合网络优化的MEC任务卸载策略方案(D-DFTOSD),实验表明,在较多接入终端设备数量的MEC系统环境下,D-DFTOSD相较于DFTOSD能获得约一倍的时延-能耗综合收益提升。
其他文献
大中小学思政课一体化建设关系到能否建设一支高质量的思政课教师队伍,是思政课教师队伍建设的重要内容,是思政课教师队伍建设必然要求。在当前的新形势下,在促进思政课内涵式发展中还存在着一些问题,导致思政课发展困难,例如思政课一体化建设中思政课教师数量不足、质量不高、培养体系不完善、缺乏制度保障的问题,针对这些情况,需要从整体出发,用大局观念来解决这些问题。所以要构建一个完善的思政课一体化建设体系,要从源
会议
核能是我国乃至全球重点发展的清洁能源,而核电作为核能的应用方向之一,对电力产业的发展有着积极推动作用。核能发电的关键是核反应堆堆芯安全稳定的运行,而核反应堆堆芯有效运行的前提是燃料组件精准的装卸定位。目前燃料组件的装卸操作存在流程复杂、安全隐患高、人工误差大等问题。随着图像处理算法和光学传感器的高速发展,拥有精度高、实时性强、非接触式等特性的机器视觉技术逐渐被应用于某些特定工业领域。鉴于此,本文针
学位
日本年轻一代否定了“男主外,女主外”的传统性别角色分工,意识发生了转变。此外,随着女性在社会上日益活跃,双收入家庭的数量正在增加,男性的家庭参与度(活跃度)的提高值得期待。根据厚生劳动省就业环境与均等局的数据,丈夫做家务和育儿的时间越长,妻子的持续就业率越高,二胎后的生育率也越高。这将有利于解决日本少子化和劳动力短缺的问题。但是,实际数据显示,日本的男性做家务和育儿时间远少于配偶,使用育儿休假制度
学位
近年来,以滴滴打车为代表的共享经济迅速发展,给每个人的日常生活带来了很大的便利。用户在享受共享经济服务的同时,也对共享服务质量产生了影响。例如,滴滴打车会给每个乘客在乘车之后进行评分,评分较低的用户可能会影响他们后续的打车服务质量。可见,分析用户在互联网共享服务中的行为合规性有助于进一步提升服务水平,已成为共享经济研究中的一个热点话题。本文指出了现有的服务质量(Quality of Service
学位
新型冠状病毒肺炎(以下称“新冠肺炎”)在日本境内出现后,日本从中央政府到地方自治体都采取了一系列应急防控措施。日本中央政府在面对突发公共卫生事件时有其独特的应急管理体系及协调机制。在疫情下,以近邻日本为借镜,观察其疫情应急防控的经验教训能进一步开阔视野,有助于使应急防控更加科学有效而有弹性。本文以日本中央政府应对第一波新冠肺炎疫情的政策措施为例,梳理日本中央政府应急管理在实践中的不足之处,并总结可
学位
情绪识别是分析人们在感觉、思想和行为等方面所表现出的意见、观点和态度的一种有效方法。情绪识别在很多场景有着具有重要作用,例如在线面试和辅助医生检测用户的情绪状态。通过手机等设备可以更方便地对用户情绪进行观察与分析。人们表达情绪的方式是综合的和多方位的,单模态情绪识别无法利用这些信息来更全面分析情绪,而采用多模态情绪识别,可以更多维度地识别情绪。因此,采用多模态融合的方式识别出情绪类别,并迁移至手机
学位
在当今社会和环境问题日益严重的背景下,人们越来越迫切地需要企业积极开展CSR活动,以期实现各利益相关方的和谐共处及可持续发展。这就是所谓的企业社会责任。这一趋势从2020年初起变得尤为明显。随着新型冠状病毒疫情的愈演愈烈,社会各方都在期待企业积极参与CSR活动,参与解决疫情下出现的各类问题,以期尽快缓解疫情,减少损失。然而,公司是由利润驱动的组织。所谓的“社会责任”概念有时只是道德层面的企业自愿行
学位
在现实世界中包含有复杂的语义信息,而计算机视觉这一学科,所研究的主要内容就是使计算机从现实世界中感知到语义信息,并进行学习,利用这些信息去认识世界。目标检测是计算机视觉研究中的热点问题,其主要任务是对图像中的目标进行精准的分类和定位,可用于自动驾驶、辅助医疗、军事领域的异常目标检测等场景。由于场景复杂且变化繁多,现有的目标检测算法很难满足真实场景下的需求,即泛化性和鲁棒性差,本文的研究着眼于目标检
学位
最大冻结深度是季节冻土的重要指标,预测第三极地区未来最大冻结深度的变化,对于理解该区域的环境变化,指导生态保护、农牧业生产、工程建设等都具有重要意义。本研究利用基准时期(2000s)良好训练的支持向量回归模型,使用集合模拟策略,预测了2050s和2090s第三极地区在4种SSP情景下最大冻结深度的变化。结果表明,在可持续路径(SSP126)、中间路径(SSP245)、区域竞争路径(SSP370)和
期刊
边防巡检因道路遥远情况复杂,使得站岗、巡逻等传统人工监控方式存在难走到、难深入、难看明、难查清等问题。现普遍使用的“人工巡视+摄像头监控”这一巡检方式,也仍然面临设备多、数据多、监控范围受限、工作重复等挑战。本文将结合计算机视觉技术,对边防巡检这一空中观测应用进行研究,以实现零风险地获取高风险目标的类别、位置、运动轨迹等重要信息。本文的主要工作如下:1.采集并制作包含9类边防巡检目标共计13920
学位