基于深度强化学习的视觉水下航行器自主导航算法研究

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:ylali001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类愈发重视开发并利用海洋资源,视觉水下航行器作为一种配备自主控制器和视觉感知传感器的自供能、自推进智能装备,已广泛应用于海底资源勘探、搜救等领域。对于特定水下作业任务,视觉水下航行器需根据外界环境和自身状态进行自主导航。传统的导航方法从模型信息中搜索可用的路径并开发对应控制器进行导航,对未知作业环境的自适应能力较弱。本文以视觉水下航行器为研究对象,以视觉感知下的目标点导航和目标物导航为目标,利用深度学习提取环境特征,通过强化学习对环境特征与自身状态进行行为指令解码,使得水下航行器具备图像深度感知和动态决策的能力,进而满足无先验环境知识条件下的视觉水下航行器自主导航需求,主要研究工作如下:首先,针对目标点导航过程中视觉深度感知与动态行为决策的问题,分别设计了具备图像特征提取能力的感知融合网络和自主行为控制能力的动态决策网络,在深度强化学习框架下,通过引入深度网络实现图像特征的深度预测,改进不同约束条件的奖励函数实现了安全距离航行和经济速度优化,利用视觉图像和自身状态信息作为输入,并以连续的控制动作作为输出,解决了视觉水下航行器目标点导航的自主感知决策问题。其次,针对区域内目标物导航过程中目标物识别与随机探索的问题,设计了具有环境感知识别能力的感知识别网络与区域搜寻能力和随机探索网络,在深度确定性策略梯度的基础上,结合目标物显著性识别技术实现了目标物的准确识别,以视觉图像作为输入,并以连续的探索动作为输出,实时判断是否识别出目标物,直至发现目标物完成探索,解决了视觉水下航行器目标点导航的识别探索问题。最后,针对感知和决策网络的单独设计可能会引入不匹配信号的问题,采用端对端的训练方法,有效地抑制甚至消除了步骤/模块之间的不一致性和不匹配的问题。本文从自主导航过程中目标点导航与目标物导航两方面展开研究,将预训练好的网络在未知环境下进行目标点导航与目标物导航的分别测试和联合仿真测试,实验结果表明提出的感知决策控制网络能够实现视觉水下航行器的自主导航,在未知环境下同样具有的良好通用性和鲁棒性,为视觉水下航行器的自主导航提供了一种新思路。
其他文献
随着智能制造的深入推进,工程实际中的控制对象模型日益复杂,呈现多模态、多控制器等典型切换特征。在实际工程中由于故障、外部干扰等因素,切换系统会包含严重不稳定动态。严重不稳定动态包括各子系统的输出调节问题不可解和部分切换时刻的切换行为不稳定,即Lyapunov函数在各子系统的激活时间内不是单调递减的且在部分切换时刻上升。随着工程区域的扩大,通过网络传输实现的远程控制方式已应用至切换系统中。处于网络环
学位
为了减缓全球粮食危机,世界各国大力发展海洋牧场。然而用于输送饵料和鱼获的渔业养殖装备研发投入不足制约了海洋牧场的发展。环形射流泵作为一种流体输送装置能够输送各种不溶于水的物体且具有流道宽阔、无运动部件等优点,因此是一种具有较高应用前景的水力输送机械。因此,本文设计了一种基于环形射流泵的输送装置,并尝试将该装置作为输送饵料和鱼获的渔业养殖装备应用于海洋牧场。本文采用实验与数值模拟相结合的方法,研究了
学位
法兰作为一种常用的连接零件,被广泛应用于机械结构之中,特别是大型法兰,常见于船体各个部位。大型法兰表面形貌的现场检测多以人工接触式测量为主,人工检测有精度低、检测速度慢等局限性,影响加工效率增加加工成本。因此,利用先进的测量手段,研究出一种大型法兰现场测量系统有其必要性和现实性。本文利用线结构光激光器、工业相机和计算机搭建了一种基于线结构光的测量系统,用于大型法兰现场加工过程中对法兰上表面进行三维
学位
气力输送系统是典型的气固两相流系统,具有广泛的工业应用,如发电、化学合成、食品加工、炼钢、冶金生产、机械制造、医药制造等。气力输送是气固两相流的一种典型应用,其中质量流量的优化非常重要,特别是对于电厂或冶金厂的制粉燃料或工业原料输送系统。为了提高燃烧效率和减少废气排放,人们非常希望测量粉状燃料和工业原料在进入燃烧器或其他装置的管道中的质量流量和颗粒浓度。此外,气固两相流浓度或质量流量的突然变化往往
学位
<正>对于口腔溃疡,相信大多数人都不陌生,它看起来不是什么大病,可一旦发生却会让人寝食难安。那么,如何让口腔溃疡快速愈合呢?普通口腔溃疡一般于2周内自愈口腔溃疡俗称“口疮”,是指发生在口腔黏膜上的表浅性溃疡,大小可从麦粒至黄豆一般,会有灼热的痛感,温度刺激或者机械物理刺激时痛感加剧。口腔溃疡的病因有很多,比如局部创伤、精神紧张、微量元素缺乏等,系统性疾病、遗传、免疫及细菌感染等在口腔溃疡的发生、发
期刊
目的:评价中药联合针刺疗法对大鼠口腔溃疡的治疗作用。方法:采用抗原乳化液方法建立大鼠口腔溃疡模型,三黄导赤散灌胃联合针刺足三里、合谷两穴位进行治疗,分为正常组、对照组、中药治疗组、针刺治疗组、中药+针刺治疗组。通过测量溃疡的面积,检测炎症因子白细胞介素-2(interleukin-2,IL-2)、白细胞介素-6(IL-6)和肿瘤坏死因子-α(tumor necrosis factor-α,TNF-
期刊
在目前新能源应用中,氢能因为资源丰富、热值高、无污染等优点被认为是未来最有希望使用的清洁能源。目前最为常用的制氢手段是化学制氢,其中乙醇水蒸气重整制氢由于其高效环保、低成本的特点被广泛研究。然而若要实现氢能的大规模使用,研究能够应用于乙醇水蒸气重整制氢(Ethanol steam reforming,ESR)过程中稳定高效的催化剂是非常重要的。与传统催化剂相比,ABO3型钙钛矿氧化物催化剂,具有较
学位
在全球石油资源日益枯竭和我国“双碳”计划实施的背景下,能源转型逐步加快,风能、太阳能等可再生能源在船舶领域得到广泛应用。其中,海洋观测、海洋牧场巡检类帆船工作中常会遇到风力不足等问题,导致续航力及工作效率受到限制。因此,开发一种能够有效利用自然能源的风帆船具有重要的现实意义。本文首次提出柔性太阳能风帆概念,在此基础上设计了一条18英尺(5.5m)太阳能风帆船并对其性能进行研究。根据规范对双体帆船进
学位
随着全球经济一体化,各个国家之间的贸易往来不断增加,航运在其中占有着举足轻重的地位。然而船舶在航运过程中产生的船舶压载水生物入侵问题日益突出,其也被列为海洋四大污染源之一。根据船舶压载水公约要求,存活微藻的检测是压载水公约港口国监督检查的重要任务。目前,活体微藻常用的检测技术有染色法、三磷酸腺苷法和叶绿素自发荧光法,但是上述方法都存在各自的问题。因此非常有必要探究一种基于微藻自身物理特性的活性检测
学位
易流态固体散货液化表现出的流动性导致散货船倾覆事故频发,造成了巨大人员和财产损失。而目前《国际海运固体散货规则》关于易流态固体散货的风险控制采用含水量作为判断依据,忽视了船舶航行过程中外界载荷这个重要因素;同时现有对货物液化事故风险的分析仍停留在定性研究,没有相关定量描述货物液化风险的分析方法。为了能使货物在装船前就可定量分析货物液化风险,从而判断其海上运输是否安全,本文以平均表观粘度作为指标研究
学位