随着海上运输业的快速发展,我国沿海已成为水上交通最繁忙的区域之一。沿海区域交通密度的不断增大对船舶航行安全提出了更高要求。航线规划作为船舶安全航行的基础和前提,在航运业中起着关键作用。现有的沿海船舶航线规划方法较少考虑实际航行规范和避碰规则,导致规划出的航线无法很好地应用于实际环境。综合考虑船舶航行的安全性、经济性与时效性等因素,对沿海船舶航线规划方法进行深入研究,有助于提高沿海船舶航线规划的整体水平和质量,对于船舶朝着智能化、体系化和无人化的方向发展具有重要的现实意义。本文在对沿海船舶航线规划的研究现状进行分析总结的基础上,提出了一个基于深度强化学习的沿海船舶航线规划框架,重点研究了全局航线规划方法和局部航线规划方法。首先,对于全局航线规划,提出了一种基于深度Q学习奖励函数优化的沿海船舶全局航线规划模型。以航线规划的安全性和经济性为目标,设计了船舶状态空间、动作空间以及动作探索策略,同时对其奖励函数进行优化设计,通过增加目标点势能奖赏、奖励域和惩罚域,提高了模型的收敛速度与学习效率。其次,对于局部航线规划,提出了一种基于改进深度确定性策略梯度算法的沿海船舶局部航线规划模型。以安全性和时效性为目标,将避碰策略与该算法相结合,并重新设计奖励函数以满足航行规范。针对算法在初始阶段的盲目探索问题,给出了融合人工势场法的APF-DDPG算法,以提高模型的收敛速度与稳定性。最后,结合相关评价指标,将本文提出的全局航线规划模型和局部航线规划模型分别与其他相关方法进行了实验验证与对比分析。实验结果表明,本文模型规划出的航线能够较好地满足航行规范和评价指标,并且在收敛速度和学习效率等方面具有明显优势。