随着人工智能技术的不断发展,室内移动机器人在工业、家庭环境中承担着日趋复杂的任务。在实际应用中,室内移动机器人需要在未知、复杂、动态环境下对障碍物进行实时规避,实现自主导航。在导航过程中,除了要求机器人能够安全规避障碍物并到达指定目标,使用者通常还对导航效率以及能量消耗提出了更高的要求。受此启发,本文设计了一种基于奖励分解和记忆增强的深度强化学习算法。该方法通过分解和设计奖励函数来学习多维控制策略,并引入记忆模块增强机器人的记忆能力,实现了在未知、复杂、动态的环境下室内移动机器人的避障导航。这种方法可以直接从视觉输入中学习到与动作值函数显著关联的特征,实现从第一视觉图像观测到多维导航策略的直接映射。实验结果显示,该方法可在规避障碍物、快速到达目标的前提下减少能量的消耗,并且在动态环境下机器人也能够根据前序信息做出恰当的决策。本文的主要工作可总结如下:首先,针对避障任务,提出了一种新颖的基于深度强化学习的机器人自主避障算法。特别地,对于最优值函数难以被有效地简化为低维表示的领域,本文设计了一种新的奖励分解架构,它将不易学习的多维避障策略分为多个子任务,即速度控制分支和方向控制分支,其中每个分支都包含了避障奖励知识。通过设计奖励函数,每个子任务分支能够学习单独的值函数。这种结构充分利用了深度学习特征映射,使各个子任务能够更好地学习特定领域的经验知识,做出更恰当的避障决策,降低了避障策略的学习难度。实验结果表明,该算法可以在未知的静态和动态环境下进行自主避障运动,并且在速度、变向次数以及碰撞前的探索步数三个性能指标上的表现更加优秀。然后,针对无地图导航任务,提出了一种基于记忆增强的深度强化学习算法。基于部分可观测的概念,本文通过引入长短期记忆网络,设计了记忆模块来增强机器人的记忆能力。长短期记忆网络收集随时间推移的信息的并选择合理的更新方式,辅助机器人对历史信息进行长期跟踪。机器人在无地图的情况下能够利用环境所反馈的视觉信息来做出更好的导航决策,在遇到动态障碍时也能预测性地避开。考虑到单目彩色图像缺乏深度信息,引入全卷积残差网络对图像的深度进行预测,并将预测深度图作为Q网络的输入来提高算法的性能。通过奖励分解架构,设计了速度控制、方向控制、目标趋近三个分支所对应的奖励函数来学习多维的导航策略,并提出了分支的融合方法。实验结果表明,该算法在未知、静动态环境中能够到达指定目标,其导航效率和能耗都表现得更好。最后,在机器人操作系统框架下利用Gazebo模拟器搭建了机器人避障和导航的三维室内仿真环境,并创建了订阅和发布话题的机制以用于通信过程。以机器人Turtlebot为仿真对象,用可视化方式验证了本文算法的可行性。