基于避碰规则与强化学习的船舶智能避碰决策研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:ujjih
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
《国际海上避碰规则》(以下简称避碰规则)对于避免船舶碰撞,提高船舶航行安全性具有重要意义。当前,避碰规则通常适用于有人驾驶船舶。然而,随着船舶智能化技术的不断发展,人们对船舶操纵无人化的要求越来越高。如何在船舶自主航行的情况下,利用人工智能等技术,使船舶仍然按避碰规则自动安全避碰,这对于推进船舶智能化发展以及提高船舶安全性具有重要意义。
  本论文基于避碰规则与强化学习算法,对海上大型货轮自主避碰决策问题开展研究,论文主要研究内容归纳如下:
  (1)针对船舶避碰问题,根据避碰规则梳理明确了船舶避碰机理过程及约束条件,建立了基于最小会遇距离(DCPA)、最小会遇时间(TCPA)等的碰撞危险度模型,结合碰撞危险度模型提出了“最简避碰操纵流程”,并建立船舶操纵性及避碰过程模型。
  (2)提出了一种基于避碰规则和机器学习的航行会遇态势分类器。首先建立船舶避碰场景仿真模型,收集不同态势下的船舶会遇场景样本;其次结合符合避碰规则的航海专家避碰决策获取规范避碰决策样本。最后分别利用神经网络和支持向量机两种机器学习方法对所得到的避碰决策样本进行分类训练并进行验证,获得了有效的船舶航行会遇态势分类器,可根据两船间的航行参数判定会遇态势并提供符合避碰规则要求的避碰操作建议。
  (3)应用逆向强化学习算法对船舶智能避碰决策问题开展研究,首先基于有限状态马尔科夫决策过程建立了船舶避碰数学模型,其次对人类专家演示避碰策略搜索获取回报函数,最后利用强化学习开展避碰策略搜索,从而获取与人类专家演示操作接近的避碰策略。
  本研究获取了避碰效果较好的人类专家决策策略,同时采用的逆向强化学习还能可靠地反演出具有不同操作习惯的人类专家决策策略。相比于常规的强化学习具有收敛快、避碰效果好、对于在线处理能力要求低的特点。因此,逆向强化学习可结合避碰规则运用在船舶智能避碰决策研究中。
其他文献
随着海洋石油工业的发展,在全球新建的海洋石油平台越来越多。按照相关的法律和法规,海上石油平台在作业寿命到期后必须进行废弃拆解。废弃海洋石油平台的拆解对海洋石油工业来说非常重要,对保证作业区域的海洋环境、通航和渔业生产等都具有重要意义。而废弃平台的拆解需要大型海洋起重设备的帮助,半潜式起重船作为一种新型的海洋工作平台就是最好的选择,因此半潜式起重船具有广阔的市场前景。  半潜式起重船在起吊重物的过程
正丁醇是一种良好的内燃机替代燃料,可缓解能源危机、降低污染气体排放,而在实际制取丁醇的过程中,从发酵液中分离提纯正丁醇时会加大生产能耗,限制了生物丁醇更为广泛的应用,因此关注到所生成的中间产物丙酮-正丁醇-乙醇(ABE)燃料。由于发酵技术和发酵环境的不同,使ABE混合物的组分含量多样,目前,关于组分含量变化对ABE混合物层流燃烧特性影响的研究甚少,开展该研究可为ABE燃料的化学动力学机理的验证和完
学位
随着能源紧缺和船舶行业污染问题的日益严重,新能源船舶逐渐成为船舶行业的研究热点。在众多的清洁能源中,燃料电池有着输出功率稳定,无污染等优点,然而,燃料电池功率密度低、响应速度慢的缺点限制了燃料电池的推广和应用,同时,负荷功率的频繁波动也会对船舶电网和燃料电池系统造成冲击和影响,从而减少燃料电池的使用寿命,降低动力系统的稳定性。因此,本文提出利用锂电池和超级电容组成的复合储能系统同时拥有高能量密度和
双向DC-DC变换器是船舶直流电网重要的能量转换设备,主要用于船舶储能单元的能量控制。若其发生故障,轻则导致设备运行异常,重则危及船舶电力系统安全,造成重大安全事故。本文以船用双向全桥型DC-DC变换器的典型故障作为主要研究内容,构建概率神经网络故障诊断模型,并利用遗传-粒子群算法优化神经网络参数,实现对故障的精确诊断。本文主要研究工作如下:首先,总结分析相关文献,根据船舶实际要求,选定变换器类型
伴随多学科的进步和相互融合,微流控芯片有着越加广泛的应用领域。在航运业,从海员疾病的快速即时诊断(Point-of-Care Testing),到自动化信号的传输和海水淡化具有广阔的应用前景。此外,微流控芯片在纳米颗粒的传感和检测、分析化学的操作和反应、信息的加解密、未来的军事通信等领域都有待扩展研究。众所周知,从基于芯片的微流体装置实验室的角度来看,流动的电渗活动得到了很好的研究和记载。因此,对
更加严格的排放标准和石油的不可再生特性,导致现代柴油发动机必须满足许多与油耗、排放、噪音和振动有关的性能标准。燃烧控制对柴油机经济性和排放有很大影响,而柴油喷射系统是燃烧控制的关键因素之一,喷油控制阀又是控制喷油器喷油的关键器件。因此研制高性能的喷油控制用压电阀对船用低速机非常重要,具有相当重要的工程应用价值,有助于推动我国船用柴油机电控喷油技术的发展。本文以国内某公司自主开发的船用低速机燃油喷射
随着IMO等国际组织提出更加严格的船舶排放标准,船舶能效运营指数成为衡量船舶排放的关键指标。劳氏船级社在2016年出台的《智能船舶入级指导》对智能船舶首次做了准确的定义。中国船级社于2019年发布了《智能船舶规范2020》,对船舶智能能效提出了明确技术规范。本文以某8063TEU大型集装箱船为目标船,根据EEOI定义,通过建模与仿真的方法,采用欧洲中期天气预报中心海况数据,建立能效运营指数相关船舶
学位
海洋微生物腐蚀是船舶及海洋设备破坏的主要形式,每年不仅带来数万亿美元的经济损失,而且造成不可估量的安全隐患。海洋微生物腐蚀的主要微生物有细菌、真菌和微藻,当前各国学者通过对硫酸盐还原菌、硝酸盐还原菌和铁细菌等海洋细菌的研究,已对细菌造成微生物腐蚀的机理有了较为清晰的认识。然而,微藻在腐蚀过程中的影响尚未得到广泛关注,腐蚀机理也并不清晰。微藻作为自养型生物,光照条件下的光合作用和黑暗条件下的呼吸作用
学位
近年来,伴随着国际海事组织愈加严格的排放法规,将储能装置加入船舶动力系统受到了广泛的关注和应用。对于混合动力系统,船舶大功率负载启停或多变航行工况导致的功率波动,将造成不可预知的功耗和电气效率的降低,甚至影响船上电网的电能质量。针对这一问题,本文以某型渡轮为研究对象引入复合储能系统(Hybrid energy storage system,HESS),并提出将模型预测控制(Model Predic
随着国民经济的不断发展,人们对海洋环境的探索、海洋资源的开发活动逐渐深入,无人船也逐渐成为了研究的热点。无人船具有智能化程度高、机动性好的特点,因而广泛应用于海洋货物运输、海洋灾害预警甚至军事防御等诸多领域。要实现对周围物体的准确识别与跟踪,无人船必须具备较强的环境感知能力,因此目标跟踪成为了其关键的技术支撑。然而,无人船自身的特殊性及其复杂的使用环境将导致传感器量测值中可能含有野值噪声,导致传统
学位