无人艇(Unmanned Surface Vehicle,USV)在海洋环境中高度自主航行是造船以及航海运产业链的一个新目标。无人艇自主避碰并合理进行路径规划能力是该目标的核心,也是完全自主无人艇在实际应用中的关键技术。强化学习探索学习理念为无人艇在未知环境下的路径规划提供一种新的解决思路。本文通过改进强化学习算法并结合人工势场法处理无人艇在不同环境下的路径规划问题,主要的研究工作叙述如下。首先,通过对无人艇、路径规划技术、强化学习算法的研究现状进行分析,明确了课题研究背景及意义,并对无人艇的避碰规划的基本理论进行建模和计算,对课题采用的强化学习算法的模型和收敛性进行严格推导和证明。其次,针对无人艇在狭窄水域复杂环境下的路径规划问题,提出基于无人艇操纵特性的改进Q-Learning强化学习算法。通过无人艇的运动特性进行算法优化,利用无人艇每一时刻的位置和航向作为算法的状态空间、基于无人艇回转特性进行动作空间优化、动态奖惩函数对路径规划具有启发和引导作用、模拟退火法自适应可变探索率解决了强化学习算法利用和探索二者之间平衡的难题,以此为基础给出障碍物分布密集的静态环境下无人艇路径规划策略。通过设计仿真对比试验验证改进算法在无人艇路径规划上的合理可行性。然后,针对无人艇在航行过程中遇到障碍物需要快速决策并且环境信息获取有误等原因造成的未知障碍物在静态路径规划中没有被考虑等问题,提出强化-势场法进行全局路径规划决策。人工势场法无法解决的局部震荡问题通过提出稳定震荡检测算法,进入局部稳定区域时采取在虚拟最小局部范围内吸引力角度改变策略跳出局部最小值。利用强化学习固有的学习能力对人工势场法的增益参数和改进策略中角度变化量和虚拟最小局部范围的大小进行在线调整和优化,改善参数对于算法敏感度较高的问题。保持了传统人工势场法在路径规划上的优势同时提升了算法路径规划性能。通过对不同障碍物地图进行仿真实验验证所提算法的可实施性。最后,针对无人艇躲避动态船舶的动态路径规划问题提出无人艇动态避碰模型。在目标船和无人艇相对运动参数以及会遇态势划分的基础上,引入运动障碍物的速度斥力场,将静态的人工势场变成动态的人工势场。设置无人艇安全区域向量场,指导无人艇按照海上避碰规则进行相关的避碰操作。通过对不同会遇态势下无人艇局部避碰路径规划以及混合路径规划进行仿真实验。实验结果验证无人艇对运动船舶的避让操作在符合避碰规则的基础上还满足避碰安全性和实时性。