基于深度强化学习和迁移学习的反应式避障方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:ry0205
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,计算机软硬件飞速提升,以无人汽车、无人机为代表的智能移动机器人越来越贴近人们的生活。移动机器人在场景中执行任务时,它们所需的一个最基础的能力就是避障。对于传统的非机器学习类的避障算法,有的算法需要开发者构建场景的三维结构而有的算法不需要构建三维模型,但是需要手动调整大量的参数,且机器人在避障的过程中不能利用避障经验进行自我迭代。对于大部分基于卷积神经网络的算法,将避障问题建模成一个基于监督学习的分类问题,但需对每个样本的标签进行手动标注,既费时又费力。而基于深度强化学习的避障算法不需要对复杂的场景进行三维重建,直接将避障问题建模成一个决策过程,实现一个端到端的输出,但对于陌生场景依然存在泛化能力不足的问题,并且在陌生场景下微调网络需要花费很长的时间。本文致力于研究一个可以快速准确且能同时应用于不同场景的反应式避障系统。在反应式避障方面,本文首先提出了基于机器人自我动态空间转换(Ego Dynamic Space Transform,EDST)的改进算法,利用单目深度估计的深度图作为输入,选择出下一时刻最优的航点,同时本文运用深度强化学习中的Double Deep Q Network(Double DQN)算法来搭建一个端到端的系统,该算法利用机器人观测到的深度图作为输入,直接输出执行动作,并对以上两种算法进行避障效果对比;对于不同场景之间,本文提出对抗学习的领域自适应方法(Adversarial Discriminative Domain Adaptation,ADDA),通过判别网络引导映射网络将目标场景的特征映射到源场景的特征空间中,并且利用源场景的决策网络实现动作命令的输出,最终实现机器人在不同场景的反应式避障。经过实验测试,本文算法通过深度图可以指导机器人避障。在此基础上针对陌生场景,本文提出的迁移学习算法相比于微调网络,节省了大量训练时间。此外,我们还在真实场景下搭建了无人机飞行避障系统,证明了本文算法的实用价值。
其他文献
通过动脉夹夹闭双侧颈总动脉建立大鼠大脑不全缺血-再灌注模型,用PCLab生物信号采集处理系统记录各实验组(正常组、缺血-再灌注模型组、尼莫地平给药组,北豆根酚性碱给药组)
暴发性紫癜(purpura fulminans)是一种出血性急症,起病前常有感染病史,以发热、皮肤出血坏死、以及弥散性血管内凝血(DIC)为特征。该病是由Guelliot于1884年首次描述,发病率低,起病急
桁架式模板支撑体系在大荷载转换梁模板施工中的应用,主要以钢桁架作为梁模板支撑系统的主承力构件,将梁模板支撑体系施工时的荷载通过钢桁架传至框支柱,这种荷载传递方式更
在高中教学体系模式中,体育教学是促进学生身心健康、身体健康的重要课程。目前,我国很多高中的体育教学体系是不完善的,这需要引起相关体育工作者的重视。“互动双主体”教学模
护理学是一门实践性较强的应用性学科,实践教学是护理教育的核心环节。临床护理实验教学对护生的职业化、社会化培养和核心能力的提高起着至关重要作用。近年来,我国高等护理
已有演化元胞遗传算法中的演化规则多从元胞自动机中直接引入,未在状态演化中考虑个体间适应值的差异。根据密度制约关系提出一种新的演化元胞遗传算法来处理动态优化问题,在考
昔日蜂拥而上的网络投资,没有造就出A股一个互联网巨头;曾经疯狂的基因概念股,也打了水漂;过去的“涉矿全明星”,不少戴上了ST帽子。而如今,又有30多家上市公司通过各种方式涉足手
报纸
目的本文旨在研究RB1蛋白与Sedlin蛋白的相互作用,分别利用酵母双杂交、GST Pull-down、间接免疫荧光和免疫共沉淀等技术研究了RB1蛋白与Sedlin蛋白在酵母细胞、体外以及哺乳
本文在前人对家蝇MT研究的基础上,进一步探索体外扩增家蝇MT cDNA基因。试验中采用2mMCd~2对家蝇初孵幼虫诱导48小时,使其体内金属硫蛋白mRNA表达达到高峰,在液氮中将其研磨成粉