基于深度强化学习的计算卸载和资源分配方案研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:zhiyuanboxue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,随着硬件技术和5G无线网络的快速发展,从功能强大的智能手机、智能平板电脑到低功耗的智能手表和传感器,移动设备在日常生活中变得越来越普遍。随着应用程序变得越来越复杂和智能,用户需要根据应用程序的需求有效地管理复杂任务的执行。然而,由于计算能力和电池容量的限制,终端设备很难满足这些新兴移动协作应用的需求。移动边缘计算(Mobile Edge Computing,MEC)的出现解决了这个问题,MEC提供给用户一定的计算资源来满足用户的应用需求,在物理上接近终端设备,通过计算卸载将任务卸载到边缘服务器,从而提高计算密集型应用程序的性能和终端设备的电池寿命。本文针对MEC中的完全卸载和部分卸载进行深入研究,分别对两种场景下的MEC系统进行建模,并利用基于深度强化学习的方法,减少了用户执行任务的成本,主要研究内容和创新如下:(1)不同于以往仅考虑用户只有单任务及固定信道状态的情形,本文研究时变信道下随机到达任务的模型,使得研究内容更贴近现实生活。(2)针对完全卸载场景建立一个新的MEC模型,从任务模型、队列模型、本地执行、卸载执行四个模块,对模型进行了细致的描述,随后,提出了卸载任务成本最小化问题。接着,将卸载过程建模为马尔可夫决策过程,并提出一个基于Dueling DQN的算法,通过联合优化传输功率和卸载决策来解决该问题。实验结果表明,所提出的算法在完全卸载场景下能够有效减少任务的执行成本。(3)研究了具有时延约束的随机到达的任务的部分卸载,并提出了时间约束下通过联合优化任务的卸载率和用户本地执行的计算能力使得卸载任务成本最小化问题,同时保证任务的失败率最低。接着,将卸载过程建模为马尔可夫决策过程,并提出一个基于深度强化学习的算法来解决该问题。实验结果表明,所提出的算法在部分卸载场景下能够有效减少任务的执行成本,同时保证任务的失败率最低。
其他文献
逆向强化学习能够从专家的演示轨迹中重新构建出奖励函数,这解决了强化学习任务中奖励函数难以设计的问题。传统的逆向强化学习需要和环境交互进行训练,然而,在本文考虑的智能艾灸应用中,让机械手臂代替艾灸专家进行艾灸移动决策时,由于策略的危险性而不能直接在环境中交互。为了解决这个问题,本文对离线逆向强化学习展开了研究,研究主要从以下三个方面进行:(1)针对最大间隔逆向强化学习推广到离线设置时,在固定数据集上
学位
人发角蛋白因具有良好的生物活性和生物相容性,已成为生物材料领域的研究热点。与人发角蛋白提取物相比,重组人发角蛋白具有组分单一、纯度高的特点,但与天然角蛋白相同存在溶解性较差的问题。因此,借助蛋白质设计方法合成水溶性重组人发角蛋白是角蛋白生物材料研发过程中的关键问题。突破常规物理、化学或酶法等破坏角蛋白二硫键而获得结构不可控的水溶性角蛋白的方法,本论文通过结构和电子密度相似的亲疏水性氨基酸的定向替换
学位
大型装校平台需要将转运模块准确地插入上方的对接厢内,通过转运模块和对接厢上分别安装的导轮和导轨装校导向。传统的装校方案基于转运模块进对接厢后两者间的接触力识别位姿偏差,调整不当时可能会损坏转运模块。而转运模块进厢前的位姿调整可以提前避免两者间发生碰撞、卡阻,保障装校的顺利进行。基于此,本文主要研究进厢前导轮相对于导轨的准确对接问题。但存在以下难点:装校过程处于黑暗狭小的封闭环境中;导轮随转运模块在
学位
纳米药物递送系统(nano drug delivery system,Nano-DDS)能提高药物生物利用度、降低药物毒副作用和改善治疗效果,这种化疗药物与纳米技术的结合模式在乳腺癌治疗中被广泛关注。然而纳米制剂递送过程中遇到的生理和病理屏障极大地阻碍了Nano-DDS的治疗,因此构建克服递送障碍并具有协同增敏作用的生物安全性Nano-DDS对肿瘤治疗具有重要意义。本研究基于多糖聚合物羧甲基壳聚糖
学位
近年来,我国积极推进南海岛礁建设,建造了大面积珊瑚岛,这些固定的“海上平台”作为我国在开发海洋的远涉基地和前进支点,在“经略南海”和“一带一路”等国家战略布局中都具有重要的地位。随着珊瑚岛建设完成并投入使用,岛上的驻岛人员逐渐增多,对淡水资源的需求也日益增加。目前珊瑚岛主要淡水来源为外运淡水与海水淡化,这部分水资源仅能勉强保证驻岛人员最基础的生活用水。因此,迫切需要开发出其他类型的水资源利用方式,
学位
传统城镇化在促进国民经济快速发展的同时,让城市面临着环境污染、交通拥挤、住房紧张、治理困难等问题,让乡村面临着劳动力缺失、土地闲置、留守儿童老人等问题,城乡差距进一步扩大,阻碍了我国现代化建设的进程。新型城镇化强调城乡发展一体化,在推进农民市民化、户籍制度改革和提升城镇化质量等方面取得了一定成果。但我国即使城镇化率到达70%,还会有四五亿人在农村,农业始终是我国现代化建设短板。乡村振兴战略就是要坚
学位
Al-Mg合金由于其韧性好,具有较高强度,耐蚀性好,被广泛应用于工业中,但此类合金焊接性能差,在使用传统方法进行焊接时容易产生变形、气孔、热裂纹等问题,制约了Al-Mg合金的进一步深入应用。搅拌摩擦焊温度低,可以有效避免气孔、热裂纹等缺陷,在铝合金的焊接中得到了广泛应用。但Al-Mg合金经搅拌摩擦焊后会存在部分软化区,而导致焊接头性能降低。为改善Al-Mg合金的焊接性能,本文向Al-Mg合金中添加
学位
无人机自组网(Flying Ad Hoc Networks,FANETs)是一种以无人机(Unmanned Aerial Vehicle,UAV)为节点的特殊自组织网络,因其组网灵活、鲁棒性强、可重构、易于部署的特点,现已被广泛应用于军用和民用领域。路由算法作为FANETs的关键技术,直接决定了FANETs中通信的效率和性能。但由于UAV移动性高、网络拓扑变化快、节点能量受限等特点,使得现有的典型
学位
高血压作为世界上患病人数最多的慢性疾病之一,容易引起严重的心脑血管并发症。目前,在针对高血压患者进行治疗时,国内外大多使用药物治疗的方法。但是由于单纯使用药物对高血压进行治疗存在较大的经济负担、抗药性、药物不良反应、药物依赖性等不足之处,寻找一种有效的高血压非药物治疗方式迫在眉睫。研究结果显示,按照一定规律缓慢降低人体的呼吸频率从而进行慢呼吸训练,能够刺激人体心肺感受器、提高心率变异性并增强压力感
学位
在资源环境约束下,我国经济增长正面临清洁生产和绿色转型的压力,迫切需要找到一种既满足经济发展质量要求又可兼顾生态环境发展需求的经济增长方式,以达到减轻对资源环境过度消耗的效果。金融业是推动经济发展的核心力量,金融集聚作为金融业深化发展的必然趋势和高级形式,具有调整资金结构和分配布局、聚拢金融人才、提高金融信息传递效率等作用,能有效引导资金流向,优化资源配置,为各个产业的技术改造和节能减排提供必要的
学位