智能水下机器人(Autonomous Underwater Vehicles-AUV)是一项重要的海洋科技装备,随着近年来海洋开发需求的增加和相关技术的成熟,智能水下机器人受到越来越多学者和有关科研机构的关注。然而复杂的任务和多变的海洋环境需要AUV具备一定的自学习能力从而能够感知和评估周围环境,并自主做出决策进行智能化控制。为将自学习能力引入到水下机器人的控制任务中,以避免传统控制方法中依赖人工经验积累的调参工作,围绕水下机器人运动的强化学习控制算法,展开一系列的研究工作。结合深度学习和策略梯度方法设计了可以输出连续动作的水下机器人强化学习控制方法。其中,为了更好的利用水下机器人的运动数据,引入优先遍历思想为每条数据赋予优先级;为了解决由于水下机器人复杂运动学特征导致的强化学习算法收敛速度慢的问题,对贪婪策略的取值方式进行改进使其随训练时间逐渐减小,以提高收敛速度。对水下机器人不同控制任务进行了马尔可夫建模,使用上述强化学习控制器,对舵翼式水下机器人和垂推式水下机器人,进行多工况的仿真实验并对结果进行分析。针对水下机器人深度控制任务,研究了不同的奖励函数系数对控制效果的影响。针对强化学习算法在用于水下机器人控制时存在数据利用率低、控制效果易震荡的特点,通过分布式的参数更新和使用并行结构,设计了一种水下机器人分布式强化学习控制方法,并使用舵翼式和垂推式水下机器人分别进行多工况的仿真对比实验,以验证其优越性。就水下机器人的强化学习控制算法研究,进行多次充实完整的实物试验。仔细研究了实物试验中涉及到的通信方案,马尔可夫建模,以及应用于真实机器人的强化学习算法如何设计等问题,并对试验结果和存在的问题及原因进行分析。