近年来,伴随着第五次信息技术革命的爆发,机器人、人工智能等技术得到了迅猛的发展。智能机器人在日常生活中也扮演着越来越重要的角色,被广泛地应用于物流、快递、餐饮、超市等场景。由于机器人所面对的场景任务比较多元和复杂,往往需要多个机器人相互合作共同完成,而多机器人之间的运动协调问题便是一个不可回避的核心问题之一。本文将车式移动机器人当作研究对象,在一个特定的二维路网环境下,利用深度强化学习算法训练出一个智能体,它能够控制多个机器人在运动过程中不发生碰撞,并且能够以较短的时间完成各自的任务。本文首先提出了一种多误差双深度Q网络(Multi-Loss Double DQN,MLDDQN)算法,它在深度Q网络(Deep Q-Network,DQN)算法的基础上,利用一个目标网络池保存K个训练过的目标网络,目标网络的权重和目标网络的存储时间成反比。在新一轮的迭代训练过程中,它将K个目标网络的Loss进行加权求和得到新的Loss,并且更新目标网络池。相比于DQN算法,该算法能够使目标网络值函数的估计方差减小,使神经网络训练更加稳定,加快训练速度。然后本文将MLDDQN和多机器人运动协调问题相结合,构造机器人路网环境的状态空间,制定离散的动作空间以及设计出奖励函数模型。通过反复的迭代训练得到一个智能体,可以产生一组可行的运动协调策略。虽然MLDDQN算法能够解决多机器人运动协调问题,但是它将机器人的动作进行了离散化处理。在实际场景中,机器人的运动是一组连续的动作。因此本文又提出了一种结合深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法的多机器人运动协调算法。该算法利用机器人移动的连续速度值设计动作空间,并且重新制定了状态空间以及奖励函数模型,经过迭代训练,同样能够得到一组可行的运动协调策略。相比于离散动作方法,该算法得到的运动协调策略更加符合实际情况,且机器人的动作序列更优。为了验证本文提出算法的正确性和高效性,将MLDDQN算法、DDPG算法和主流的DQN、DDQN、Averaged DQN算法在包含不同多条路径的协调任务上进行了对比实验和分析。实验结果表明,利用MLDDQN算法训练得到的运动协调策略能够有效地避免多机器人在运动过程中发生碰撞,并且收敛速度明显优于主流的算法。DDPG算法的实验结果比离散动作算法的表现都好,有效弥补了离散动作的不足之处,具有实际应用意义。