基于强化学习的AUV路径规划算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lylh0628
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自主式水下机器人(Autonomous Underwater Vehicle,AUV)智能化的发展,人工智能方法在其关键技术上得到了越来越多的应用。强化学习是一种重要的人工智能方法,在与环境的交互中自学习决策模型,弱化了对模型和环境的约束,具有相当高的灵活性。本文基于强化学习算法,研究在海流影响下的AUV长距离二维路径规划问题,提高AUV在复杂环境中的灵活性和适应性。本文具体工作如下:首先,以价值迭代网络为理论基础,分析其存在的问题,使用门控思想和竞争构架的思想对其进行改进,提出改进的价值迭代网络,并应用于AUV全局路径规划问题中,规划路程最短的全局路径。其次,针对DQN(Deep Q Network)建模动作价值期望值的不足,利用神经网络直接逼近动作价值的概率分布,并在训练中加入双Q学习的技巧,构成分布式DDQN算法。考虑到AUV在未知环境中避障的特殊要求以及海流对AUV航行的影响,设计了基于分布式DDQN的AUV局部路径规划算法,规划用时最短的局部路径。最后,设计融合了全局和局部路径规划的AUV路径规划系统,充分利用先验环境地图以及传感器信息,使AUV在高效规划最优全局路径的基础上,能够借助海流减少航行用时,并具备应对突发情况的能力。为落地执行期望路径,本文基于可视距导航算法和PID控制器设计AUV路径跟踪控制器。并且,设计开发可视化仿真平台,以REMUS欠驱动AUV为仿真对象,验证了本文所设计的AUV路径规划系统的有效性。
其他文献
推进高校组织育人工作,是把牢高校意识形态主导权、培养德智体美劳全面发展的时代新人、强化高校基层组织的凝聚力和战斗力的必然要求。当前,高校基层组织在培育时代新人方面存在一些困境。如,政治功能发挥不充分,导致组织育人的政治引领力不强;工作理念不能因势而进,导致组织育人的有效性不足;各类组织不能形成育人合力,导致组织育人的联动性不够,等等。鉴于此,文章提出优化组织育人,要旗帜鲜明,积极发挥高校组织在时代
当工业机器人视觉系统用于工件表面三维测量任务时,为了获得较好的测量精度,不仅需要对机器人视觉系统进行标定,还需要对相机进行拍摄位置规划与定位控制,以获得足够多的工件表面关键特征信息。现有的工业机器人视觉测量方案中,相机的拍摄位置需要根据人为经验进行规划,而相机定位通过机器人控制器的开环控制实现。然而,该方案无法保证工件表面的关键特征位于相机视野内,会导致关键特征信息缺失,影响三维重建精度。针对以上
随着科技的发展和社会需求的改变,各类产品向个性化、质量优转化;工业生产模式向柔性化、智能化制造转变,在这样的时代背景下,部署简单、灵活易用的协作机器人逐渐成为机器人研发领域的热点。碰撞检测与拖动示教功能体现了协作机器人安全性与协作性的本质特点,成为实现人机自然交互的基本功能。无外部传感器人机交互所带来的低成本高效益,吸引着众多学者投身于无外部传感器的人机交互算法的研究中。为推动无外部传感器碰撞检测
在运载火箭重载化、大型化、经济化的发展态势下,火箭贮箱箱底等大型航天薄壁回转体制件的整体旋压加工技术成为了我国航天制造当前亟待攻克的难题。为抑制立式强力旋压过程中板坯边缘褶皱等失效问题的发生,本论文中为并联旋压机设计了一种压边高度及直径可调的随动压边装置。为了达到预期的压边工作效果,该随动压边装置的电液比例协同控制系统对持续未知扰动影响下的单液压缸位置控制精度、双缸同步控制精度、上下压边圈协同偏差
在C型臂X光影像引导下的椎间盘射频消融术是一种经皮穿刺治疗椎间盘突出的微创手术,具有创伤小恢复快的优点,其中穿刺针的精准定位是手术关键。传统的椎间盘射频消融术手术时间长、操作流程繁琐,医生受X射线辐射危害,没有保护机制,容易穿刺失败。为解决以上问题,本文设计了一套脊柱穿刺手术机器人系统,并针对机器人系统的交互引导控制展开研究,协助医生安全、高效的完成手术。针对脊柱穿刺手术机器人特点,本文首先通过分
视觉问答是一项属于计算机视觉和自然语言处理交叉领域的任务,它要求模型读取输入图像和相关的自然语言问题,并给出合理的答案。与图灵测试相关的问答系统始终是人工智能研究的重点之一,而视觉问答模型不仅要实现机器的思考和推理能力,还要完成图像信息和文字信息的统一语义表达。该任务对于探寻机器智能的实现和构建跨媒体信息统一模式都具有重大意义。本研究首次通过跨模态检索方法来提高视觉问答任务的效果。现有方法没有关注
在自动驾驶中,精确地感知周围环境至关重要。随着科技的发展,传统的三维目标检测算法由于速度缓慢,准确率不够高,正在渐渐地被基于深度学习的算法所取代。目前,由于计算力发展迅速,以及激光雷达能够精确给出目标三维外观以及位置的优点,大部分的三维目标检测算法都选择了激光雷达作为数据来源。点云数据具有数量庞大的特性,且有着与图像数据完全不同的格式,如何用深度学习有效地处理点云数据是研究的重点和难点。作为自动驾
桥梁作为交通系统的重要组成部分,对其进行定期检测以确保其安全性及可靠性是一项十分重要的工作。传统人工检测方法效率低,精度差,成本高,难以满足当前桥梁检测的巨大需求。随着计算机及图像处理技术的迅速发展,基于机器视觉的桥梁检测系统逐渐成熟。针对目前桥梁裂缝图像检测系统中裂缝识别率不高,裂缝宽度测量精度不足等问题,本文提出了一种基于卷积神经网络的裂缝识别算法以及裂缝宽度亚像素测量算法。论文的主要工作如下
化学传感器广泛应用在许多领域,包括环境监测、临床诊断、医疗保健、安全警报和食品质量检查等。在化学传感器的许多应用场景中,快速获得传感结果是非常必要的,比如易燃易爆气体的警报或有毒物质的检测,减少检测时间还可以改善用户体验、降低功耗。然而,许多化学传感器都有着响应时间长的问题。为此,一种经济有效的解决方案是通过数据处理算法根据早期瞬态响应数据预测最终结果,即被分析物的浓度或类别,但目前相关工作的方法
车辆尾气中的NOx会造成严重的环境污染,选择性催化还原(SCR)技术通过喷射尿素水溶液进而分解生成NH3来还原NOx,但其喷射过多造成的“氨泄漏”同样后果严重,因此有必要在SCR下游设置合适的传感器来检测NH3浓度。在众多类型传感器中,混合电位型固体电解质传感器因为结构简单、适应性好、传感性能优异而具有非常广阔的应用前景。因此,研究氨气敏感材料的形态与氨气传感器的结构,进而提高对NH3传感性能具有