移动边缘计算架构下基于强化学习的无人机路径规划研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:pangzhu311
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能设备数量急剧增加,终端用户的计算任务需求远超设备本身计算能力。移动边缘计算架构将服务器资源部署在网络边缘侧,可为终端用户提供实时高效的计算服务。而在偏远或自然灾害地区,搭建移动边缘计算架构的成本非常昂贵,可采用移动灵活且无需基础设施的无人机辅助移动边缘计算系统。在此背景下,本文考虑无人机辅助的移动边缘计算架构为终端用户提供计算服务。如何在有限电池容量约束下优化无人机路径是当前研究热点。本文围绕该问题进行深入探讨分析,并取得如下成果。(1)考虑终端用户位置固定且无人机飞行轨迹离散化的情况,部署无人机辅助的移动边缘计算架构并规划无人机飞行轨迹以最大化终端用户任务卸载量。提出了无人机路径规划的马尔可夫决策过程建模方法,设计了基于值函数强化学习的离散无人机路径优化算法求解最优策略。仿真结果表明,提出的算法可在终端用户位置固定环境下有效指导无人机选择合适的飞行路径为终端用户提供高质量计算服务。(2)考虑终端用户实时移动且无人机飞行轨迹离散化的情况,规划无人机飞行轨迹以最大化系统效益。将终端用户移动轨迹建模为高斯-马尔可夫移动模型,同时考虑终端用户服务质量约束,提出了基于深度神经网络的值函数强化学习算法。仿真结果表明,所提出的算法在终端用户实时移动场景下能够合理规划无人机离散飞行轨迹,从而保证终端用户服务质量,相比于传统强化学习算法可获得更高的系统效益。(3)考虑终端用户实时移动且无人机飞行轨迹连续化的情况,优化无人机飞行轨迹以最大化系统效益。提出了连续动作集马尔可夫决策过程的建模方法,同时考虑终端用户服务质量约束,设计了基于深度神经网络的策略梯度强化学习算法。仿真结果表明,所提出的算法可在终端用户实时移动环境下有效规划无人机飞行轨迹,从而保证终端用户服务质量,相比于传统策略梯度强化学习算法可获得更高的系统效益。最后,总结了本文相关研究成果以及不足之处,并对后续的研究进行了探讨与展望。
其他文献
汽车已经成为人们的主要代步工具之一,驾驶是现代社会的重要组成部分。每年因道路交通事故造成的损失不计其数,而驾驶者的不当操作一直是车祸的主要原因之一,因此驾驶检测对保障人们的生命财产安全有着至关重要的作用。关于驾驶检测的研究,目前已有的处理方法是基于对驾驶者生理信息、车辆的状态信息以及驾驶者的头部视觉信息,实现对驾驶者状态的检测。不过这些方法存在着对驾驶者侵犯性较强、易受环境影响和涉及个人隐私等不足
数字视频应用的多样性和高清化,人们愈加迫切需要更高的视频压缩效率。新一代视频编码标准H.265/HEVC应运而生。由于引入了一些新的编码技术,3D-HEVC能够在原来的基础上使压缩效率提高1倍。这些新技术对编码效率的提高具有重要意义,例如四叉树递归划分的CU技术来说,也造成了编码计算的复杂度的极大增加。因此,本文主要研究3D-HEVC中基于SKIP模式的帧间编码的快速算法,并致力于优化深度图像编码
生态评估对于保护生态环境、指导生态文明建设具有重要意义,是生态文明建设的重要组成部分。鸟类作为一种分布广泛的环境指示生物,能够反映栖息地生态环境的变化。鸟鸣声学监测作为一种非入侵的监测方法,可以用于评估区域生态环境水平。本文介绍了一种面向鸟类鸣叫声指数计算的麦克风阵列处理方法。鸟类鸣叫声指数从音景生态学角度出发,利用声学复杂性来代替物种复杂性,在不需要先验知识的前提下能够切实可行地评估该区域鸟类物
车辆限界是保证轨道车辆安全运行最基本的要求,车辆在设计、制造和维修时都必须进行车辆限界检测。针对传统的人工检测的操作复杂、精度低等不足之处,本文设计了一套基于线结构光的轨道车辆限界检测系统,以提高检测效率与精度。主要研究了以下内容:(1)研究了线结构光视觉测量技术,分析了其基本原理及测量模型;然后基于线结构光视觉测量技术设计了一套轨道车辆限界检测系统,同时给出了该系统的总体设计方案及主要装置选型,
近年来,随着城市轨道交通的不断发展与完善,乘坐地铁已成为越来越多人日常出行的首选。为了更好地辅助地铁运营的精细化客流管理,消除安全隐患,可采用基于监控视频的人群计数系统对地铁站内各个区域的人群数量进行实时估计。现有的人群计数估计方法用于轨道交通场景中,往往存在场景不适应且应用难度较高的问题。本文研究工作便是围绕在地铁站台场景下设计性能优越的基于卷积神经网络的人群计数算法以及支持人群计数的智能摄像头
漏波天线凭借其频率扫描能力和较宽的工作频带,已经成为人们研究的一大热点。本文将复合左右手(Composite right/left-handed,CRLH)传输线结构与基片集成波导(Substrate integrated waveguide,SIW)相结合,对可以实现后向至前向连续扫描的漏波天线进行了研究。设计的漏波天线在边射状态依然可以保持良好的辐射性能,并且后向辐射的范围较宽。主要研究内容如
利用空中目标的毫米波辐射能量实现对目标的探测是一种新颖的探测手段。本文主要针对空中目标的毫米波辐射特性以及对空中目标的探测方法展开研究,主要的研究内容包括:(1)建立地基与星载两种平台辐射计对空中目标的被动探测模型,针对空中目标的辐射特性进行研究。分析了隐身材料的辐射特性,通过对典型的隐身轰炸机目标进行三维建模,利用ANSYS FLUENT对目标的机体和尾焰进行流体仿真,计算分析了目标机体和尾焰的
近年来,无人驾驶技术发展迅速,无论是在民用领域还是军用领域都具有广阔的发展前景。环境感知是无人驾驶系统中至关重要的一个模块,本文主要针对环境感知中三项重要的任务开展研究工作,主要的研究成果和创新点如下:提出了一种基于多线激光雷达的道路检测算法。通过栅格映射和统计高度分布的方法构建改进多属性栅格图,有效滤除空间内噪声点,并将栅格标记为正障碍、悬浮障碍和地面。然后,直接在栅格图中运用自适应圆弧区域搜索
针对低空直升机、地面履带车等低仰角目标,被动声探测技术利用目标运动部件发出的声信号实现探测与识别,能有效解决雷达探测面临的电子干扰、地物遮挡等问题。近年来,随着微机电系统(MEMS)技术的发展,麦克风朝着微型化、智能化的方向发展。采用麦克风阵列形式的小微声探测节点具有成本低廉、结构简单、功耗较低等特点,多个小微声测节点还可采用抛撒等方式大量部署,通过组网进一步构建声学区域警戒系统。基于小微麦克风阵
天线作为发射和接收无线电波的重要设备,很大程度上影响着信号的强度和质量。随着无线通信技术的快速发展,全集成射频电路前端产品的需求日益扩大。射频电路前端大部分是通过差分技术来实现的,但目前绝大多数的天线被设计成单端口元件,不可和差分射频前端直接相连。差分天线改变了传统的馈电方法,可以直接向天线的输入端口馈入差分信号,避免了巴伦等转换元件的使用。这不仅提高了系统的集成度,还减少了不必要的前端损耗,提高