导航是智能机器人系统的核心技术,已成为当今众多学者的研究热点。深度强化学习作为提高移动机器人自适应能力的有效算法,在移动机器人自主导航领域有广泛的应用前景。本文以深度强化学习中的DDQN算法为核心,研究移动机器人在未知环境中的运动策略学习问题。论文首先分析了移动机器人导航算法与深度强化学习算法的国内外研究现状,对深度强化学习的基本原理、利用与探索问题、奖励值、经验回放机制与梯度下降等问题做出详尽描述。论文设计了以DDQN算法为核心的全向移动机器人导航理论框架,根据导航任务制定了一种距离导向奖励值,确定了DDQN的神经网络结构与算法训练流程。考虑到DDQN算法在前期收集训练数据时多采用随机策略,会限制算法收敛速度,论文采用了定向探索策略与玻尔兹曼探索策略对?-贪婪策略进行改进,以提高移动机器人前期探索的导向性,尽量获取高奖励值的训练数据。论文建立了Gym-ROS-Gazebo联合仿真环境,通过仿真实验训练基于DDQN的导航策略,验证算法的有效性。实验表明,论文定义的奖励值模型能够帮助机器人完成导航任务,改进后的动作选择策略能够在前期的探索中获取更高的奖励值,缩短完成训练所耗费的训练轮数,提高了训练效率。使用相同的导航框架,与差速移动机器人相比,全向移动机器人到达目标点所用的步数更少,说明此方法更适合全向移动机器人。