基于深度强化学习的无人机回归公共航路方法研究

来源 :三峡大学 | 被引量 : 0次 | 上传用户:yaonulio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为无人机设计一个合理的公共航路,能够保证有效监管无人机群体飞行、合理设置空港和物流转运点、保障低空空域安全和无人机自身飞行安全。然而现实中预计行驶在公共航路上的无人机在执行飞行任务时容易受到各种因素的影响,使其偏离预设的公共航路。为了尽量减少已偏离的无人机在公共航路外受到的不利影响,加强对意外偏离现象的处理能力,需要保证无人机从偏移点尽早回归公共航路。深度强化学习是目前无人机在自主导航问题中实现自主决策和智能控制的关键技术和重要发展趋势,并且在无人驾驶领域取得了一定的实际应用成果,具有优秀的实时性、自主性和可实现性,满足探寻一种有效的无人机回归公共航路方法的要求。因此本文基于深度强化学习算法对无人机回归公共航路方法进行研究,提出并设计了一个满足实验要求的无人机回归公共航路模型,并得到了三种算法下的训练测试结果,具有一定的理论和实际意义。全文主要从三个方面完成研究目标:(1)添加风力因素,提出并设计一个受到风力影响的无人机偏离公共航路模型。完成风力下的无人机偏离公共航路仿真研究,获取无人机回归公共航路模型所需的相关偏移点数据。(2)基于确定的偏移点数据,明确环境模型中偏移点和公共航路的相对位置。通过对比分析选择栅格法和OPENAI GYM作为模型设计方法和工具,设计得到一个包括偏移点、公共航路和静、动态障碍物的环境模型。(3)将设计完成的满足问题要求的无人机回归公共航路模型作为实验基础,分别使用DQN、DDPG和PPO算法完成问题模型的训练测试实验,得到基于深度强化学习的无人机回归公共航路方法,测试任务完成度在95%以上。实验结果表明基于深度强化学习算法的无人机能够很好地从偏移点尽早回到公共航路,从而保证对偏离现象的处理能力。训练好的智能体具有良好的实时性和自主性,能够适应复杂的障碍环境。在问题模型中PPO智能体具有最优秀的训练性能,能够通过最少的训练次数达到要求的训练目标。
其他文献
互联网的飞速发展不断改善着人们的学习、工作以及生活,社交媒体的出现使人类信息传播的过程发生了前所未有的改变,并逐渐代替报纸、电视、广播等传播媒介,成为信息传播的主要方式。在线社交网络的构建打破了线下社交圈的限制,实现了社交网络中用户跨时空的交流与沟通。早在19世纪后期,个体行为、态度等对他人产生影响的社会趋同现象就引起一些学者的高度关注,并提出了“社会传染”这一概念。20世纪50年代后,社会传染现
目的通过CBCT(Cone-beam Computed Tomography,锥体束CT)测量UCLP(Unilateral Cleft Lip and Palate,单侧唇腭裂)儿童健侧与患侧的IOF(Infraorbital Foramen,眶下孔)及IOC(Infraorbital Canal,眶下管)相关解剖数据,并与同龄健康儿童相比较,探究CLP(Cleft Lip and Palate
目的:对比研究磁伸缩工作尖不同工作角度及机械抛光方法对牙周炎患牙根面粗糙度及表面形态的影响,为临床牙周病治疗应用提供实验依据。方法:第一部分:选取10颗患有重度牙周炎而无法保留的离体牙(前牙/前磨牙)且其牙石分布相等的60个牙根面,根据不同治疗类型,随机分为G1(手工刮治)、G2(磁伸缩工作尖-0°)、G3(磁伸缩工作尖-15°)、G4(磁伸缩工作尖-30°)、G5(磁伸缩工作尖-45°)、G6(
目的1.观察乳兔原生破骨细胞及大鼠单核诱导破骨细胞(osteoclast)典型特点。2.探究体外环境下ZOL(zoledronic acid,唑来膦酸)对成骨细胞(osteoblast),巨噬细胞(Macrophage),骨髓间充质干细胞(BMSC)增殖分化的影响。3.探讨局部及全身运用唑来膦酸对SD大鼠骨缺损修复中成骨-破骨的影响方法:1.新生新西兰大白兔骨髓细胞培养法观察原生典型破骨细胞的形态
背景:口腔癌是一类发生于口腔的独特类型癌症,已被确定为全球最常见的恶性肿瘤之一,其中口腔鳞状细胞癌约占口腔癌的90%。口腔癌的恶性程度高,患者5年平均生存率低于60%。口腔癌的治疗手段以手术疗法为主,原发灶的完整切除对肿瘤的治疗至关重要,目前外科医生主要还是根据手术过程中对肿瘤的视诊及触诊来评估原发灶切除范围。虽然可以利用术中切缘冰冻病理对切缘进行评估,但术中冰冻病理只能研究切缘的一小部分,这容易
目的:褪黑素是主要由松果体产生的神经内分泌激素。已有研究表明,褪黑素可以通过其受体发挥抗肿瘤作用。然而,褪黑素的抗肝癌作用及机制尚未明确。本研究旨在通过分析褪黑素受体及合成代谢基因(褪黑素相关基因)在肝癌中的异常表达,识别与肝癌发生和预后相关基因,为探索褪黑素抑制肝癌的具体机制提供理论依据。方法:首先,在三套肝癌数据集TCGA-LIHC、LIRI-JP和GSE14520中分别识别褪黑素相关基因在癌
雷达辐射源信号分选与识别的结果直接影响到雷达对抗情报的质量,近年来得到该领域研究人员的高度重视。该技术的性能高低取决于两大核心要素,即识别特征参数和分类器。然而,由这两大核心要素构成的识别系统的效能却是不得而知的。因此,对雷达辐射源信号识别效能评估的深入研究是非常有必要且具有实际意义的。鉴于现有的雷达辐射源信号识别效能评估方法存在指标权重求解不合理、评估方法自身受限、决策风险高等普遍问题,本文固定
目的:本项系统性评价及Meta分析旨在评价(牙合)垫对颞下颌关节紊乱综合征的治疗效果。方法:本项系统性评价及Meta分析依据PRISMA指南进行报道。检索以下四个数据库:美国医学索引数据库(Medline via Pubmed)、科学引文索引数据库(Web of Science)、生物医学研究文献数据库(Embase)和摘要引文数据库(Scopus)。最后检索时间为2021年2月。本项目纳入标准为
随着经济的发展和自动化技术的进步,制造或物流等行业的仓储设施与技术不断革新,仓库的自动化程度逐渐提高,对仓储管理系统的应用也日益广泛。近年来,一些企业希望仓库在节约管理成本同时保持较高的存储能力,双伸位立体库应运而生,其布局方式有效提高了地面利用率和存储率,被迅速应用和推广,而如何设计双伸位仓库的管理系统也成为了关注的热点。目前,较多仓储管理系统存在功能不适用、脱离实际等问题,且传统的货位分配和作