论文部分内容阅读
《国际海上避碰规则》(以下简称避碰规则)对于避免船舶碰撞,提高船舶航行安全性具有重要意义。当前,避碰规则通常适用于有人驾驶船舶。然而,随着船舶智能化技术的不断发展,人们对船舶操纵无人化的要求越来越高。如何在船舶自主航行的情况下,利用人工智能等技术,使船舶仍然按避碰规则自动安全避碰,这对于推进船舶智能化发展以及提高船舶安全性具有重要意义。
本论文基于避碰规则与强化学习算法,对海上大型货轮自主避碰决策问题开展研究,论文主要研究内容归纳如下:
(1)针对船舶避碰问题,根据避碰规则梳理明确了船舶避碰机理过程及约束条件,建立了基于最小会遇距离(DCPA)、最小会遇时间(TCPA)等的碰撞危险度模型,结合碰撞危险度模型提出了“最简避碰操纵流程”,并建立船舶操纵性及避碰过程模型。
(2)提出了一种基于避碰规则和机器学习的航行会遇态势分类器。首先建立船舶避碰场景仿真模型,收集不同态势下的船舶会遇场景样本;其次结合符合避碰规则的航海专家避碰决策获取规范避碰决策样本。最后分别利用神经网络和支持向量机两种机器学习方法对所得到的避碰决策样本进行分类训练并进行验证,获得了有效的船舶航行会遇态势分类器,可根据两船间的航行参数判定会遇态势并提供符合避碰规则要求的避碰操作建议。
(3)应用逆向强化学习算法对船舶智能避碰决策问题开展研究,首先基于有限状态马尔科夫决策过程建立了船舶避碰数学模型,其次对人类专家演示避碰策略搜索获取回报函数,最后利用强化学习开展避碰策略搜索,从而获取与人类专家演示操作接近的避碰策略。
本研究获取了避碰效果较好的人类专家决策策略,同时采用的逆向强化学习还能可靠地反演出具有不同操作习惯的人类专家决策策略。相比于常规的强化学习具有收敛快、避碰效果好、对于在线处理能力要求低的特点。因此,逆向强化学习可结合避碰规则运用在船舶智能避碰决策研究中。
本论文基于避碰规则与强化学习算法,对海上大型货轮自主避碰决策问题开展研究,论文主要研究内容归纳如下:
(1)针对船舶避碰问题,根据避碰规则梳理明确了船舶避碰机理过程及约束条件,建立了基于最小会遇距离(DCPA)、最小会遇时间(TCPA)等的碰撞危险度模型,结合碰撞危险度模型提出了“最简避碰操纵流程”,并建立船舶操纵性及避碰过程模型。
(2)提出了一种基于避碰规则和机器学习的航行会遇态势分类器。首先建立船舶避碰场景仿真模型,收集不同态势下的船舶会遇场景样本;其次结合符合避碰规则的航海专家避碰决策获取规范避碰决策样本。最后分别利用神经网络和支持向量机两种机器学习方法对所得到的避碰决策样本进行分类训练并进行验证,获得了有效的船舶航行会遇态势分类器,可根据两船间的航行参数判定会遇态势并提供符合避碰规则要求的避碰操作建议。
(3)应用逆向强化学习算法对船舶智能避碰决策问题开展研究,首先基于有限状态马尔科夫决策过程建立了船舶避碰数学模型,其次对人类专家演示避碰策略搜索获取回报函数,最后利用强化学习开展避碰策略搜索,从而获取与人类专家演示操作接近的避碰策略。
本研究获取了避碰效果较好的人类专家决策策略,同时采用的逆向强化学习还能可靠地反演出具有不同操作习惯的人类专家决策策略。相比于常规的强化学习具有收敛快、避碰效果好、对于在线处理能力要求低的特点。因此,逆向强化学习可结合避碰规则运用在船舶智能避碰决策研究中。