基于计算机视觉的桥梁车流信息识别与防船撞预警方法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:zz121961437
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
桥梁作为基础设施的重要组成部分,其健康状况直接关系到社会公共安全。在当前的人工智能时代背景下如何利用前沿技术来为桥梁的监测、运营与维护服务,成为研究人员关注的热点。本文以计算机视觉技术为基础并结合深度学习算法,针对当前基于视频图像的桥梁车流信息识别及防船撞预警方法中存在的问题进行研究。在桥梁车流信息识别中现有方法存在识别目标信息单一,鲁棒性不强等问题。针对上述问题,本文提出基于图像实例分割的车辆全面信息识别方法。并结合该识别方法与结构有限元计算,实现桥梁运营状态在线监测。而在船撞预警方面,目前缺乏有效的船舶实时定位与船桥及船间共同防撞预警方法。为此,本文提出基于单应性变换的船舶实时定位方法与基于数据驱动的船桥及船间防撞预警方法。提出的防撞预警方法主要包括用于船舶轨迹数据增强的基于多评价模型的轨迹生成式对抗网络与用于船桥及船间碰撞预警的双任务编码解码网络。本文主要研究内容及创新点包括:(1)提出基于图像实例分割的车辆全面信息识别方法,可同时实现车型识别、车辆轴数识别、车辆3D边框构建、车速测定、车辆长度计算、行驶车道识别与车辆计数,其中图像实例分割基于Mask R-CNN。在车辆信息识别中,提出了基于车辆与车轮掩膜交并比的车辆轴数识别方法。同时利用高质量的车辆分割掩膜生成车辆3D边界框,其较基于传统帧间差分或背景差分方法生成的车辆3D边界框更精确。为了计算车辆长度与速度,利用一场景消失点与车道线确定路面控制点进而求解世界坐标系与像素坐标系间的单应性变换。该单应性变换结合车辆3D边界框即可计算得到车辆长度与速度。车辆3D边界框同时也用于车辆行驶车道的识别。为了获得可靠的车辆参数,利用目标跟踪方法SORT跨帧关联车辆目标进而对多帧中识别的车辆参数进行后处理,从而获得较单帧识别结果更可靠的车辆参数。基于提出的方法,开发了车辆全面信息识别系统,并应用于安庆长江公路大桥。(2)提出一种融合视频车辆信息识别、车辆荷载分布、有限元建模与影响线计算的桥梁运营状态在线监测方法。该方法首先基于提出的车辆全面信息识别方法反演得到车辆在桥面的实时空间位置。然后基于识别得到的车辆轴数与桥梁所在地的车辆荷载分布,确定桥面每辆车的荷载区间。为了模拟桥梁的响应,建立桥梁有限元模型,并计算桥梁关键部位的响应影响线。再结合影响线正负区域与车辆位置及荷载区间,确定针对桥梁各关键部位响应上下界的车辆荷载组合。最后将每种荷载组合施加至有限元模型上,便可得计算时刻桥梁每个关键位置的响应区间。该方法无需在桥梁上布置其他传感器即可实现桥梁运营状态在线监测。(3)提出基于单应性变换的船舶实时定位方法,解决了水面船舶难以实时定位的难题。该定位方法将水面航标作为控制点来求解视频图像中像素坐标系与水面世界坐标系间的单应性变换。结合该单应性变换与船舶识别及跟踪,即可实现船舶的实时定位。在求解单应性变换中关键是获取控制点的世界坐标。本文基于几何相似关系,并借助无人机航拍与图像倾斜矫正手段一次性获得了全部控制点的瞬时世界坐标。由于水面航标即控制点位置不稳定,在计算单应性变换时,控制点的像素坐标与对应的世界坐标需保持同步。本文所提出的船舶实时定位方法,除固定摄像机外只需借助一张包含桥梁及水面航标的航拍图像,方法简便,易于实现。(4)提出基于多评价模型的轨迹生成式对抗网络用于增强船舶轨迹数据,特别是增强具有较高撞桥风险的少量异常船舶轨迹数据,进而为基于数据驱动的船桥碰撞预警提供充足的数据支持。提出的生成式对抗网络采用基于Wasserstein距离并带梯度惩罚的目标函数。网络的生成模型以门控循环单元作为基本模块,生成轨迹伪样本。在网络的评价模型中使用一维卷积与一维自适应池化运算来构建变长度序列特征提取模块。为了生成具有多样性的轨迹样本,组合不同的序列特征提取模块构成具有不同结构的多个评价模型来指导生成模型的更新。由于不同评价模型对生成模型的约束程度不同,因此基于多评价模型的网络可生成具有不同模式的轨迹样本。在训练提出的轨迹生成式对抗网络中,采用了课程式学习的策略来减轻训练早期生成模型与评价模型处理整条轨迹序列的负担。(5)提出双任务编码解码网络用于船桥及船间碰撞预警,其特点是将针对船桥碰撞预警的轨迹异常检测与针对船间碰撞预警的轨迹预测两个任务融合至同一网络中。该网络的编码器将观测轨迹编码为一固定长度的轨迹信息向量,该向量在解码器中被分别解码用于船舶轨迹异常检测与预测。在解码器的异常检测分支中,将轨迹信息向量映射为船舶航行风险度,然后基于该风险度判断是否发出撞桥预警。在解码器的预测分支中,加入了注意力机制来缓解编码器的压力,进而增加预测结果的准确性。若不同船舶在当前位置间与每个预测位置间存在小于安全阈值的距离,则说明船间有碰撞趋势进而发出预警。在双任务编码解码网络训练过程中采用三步训练方式。先单独训练网络两个分支,再联合训练。本文中开发了一个船撞在线预警系统,应用于广东九江大桥,并在监测过程中成功识别到有高撞桥风险的船舶。
其他文献
第一部分胶质细胞源性神经营养因子与2型糖尿病的相关性及其在糖尿病共病抑郁中的中介作用探讨背景与目的:近年来,糖尿病(Diabetes mellitus,DM)患病率在全世界范围内急速上升。2019年,国际糖尿病联盟(International Diabetes Federation,IDF)发布最新的数据显示全球罹患糖尿病人数达到4.63亿。根据最新的流调数据,依照WHO诊断标准,我国糖尿病患病率
第一部分机械牵张预处理对骨髓间充质干细胞影响的研究目的:研究机械牵张(MS)对骨髓间充质干细胞(MSCs)形态和功能的影响。方法:将MSCs种植在胶原I包被的牵张板上,放置于细胞培养箱中培养,再采用应力加载系统对MSCs予以机械牵张干预,机械牵张幅度分别为10%和20%,机械牵张时间分别为24h和48h。实验分组:(1)未机械牵张组(Un-MS),(2)10%机械牵张24h组(MS-10%-24h
软件定义无线传感器网络(Software-Defined Wireless Sensor Network,SDWSN)基于软件定义网络(Software-Defined Network,SDN)的解决方案,实现无线传感器网络(Wireless Sensor Network,WSN)控制功能和传送功能解耦,增加了网络管理的灵活性,是一种新型WSN。在SDWSN中,网络能量效率(简称“能效”)依然是制
图像去噪是图像信号处理中一个基础且重要的研究领域。每次信号处理方法的突破,都给图像去噪技术的发展提供了一次新契机,使去噪图像质量提高至一个新水平。本文尝试将近年来提出的图信号处理中的一些方法应用于图像去噪,具体来说,即通过图滤波方法进行图像去噪。文中从图滤波实用化、自适应图滤波和子空间图滤波等方面对基于图滤波的图像去噪展开研究,并逐步提升图像去噪质量,使之达到与现有基于模型学习和深度学习的图像去噪
在数据传输需求快速增长以及射频频谱资源日益紧张的背景下,可见光通信(VLC,Visible Light Communication)受到广泛地关注。可见光通信将数据调制到380nm-780nm的可见光频段上,在满足日常照明的同时,提供高速数据接入服务。与传统的射频(RF,Radio Frequency)通信相比,可见光通信具有速率较高、无电磁辐射、保密性好、成本低等优点。可见光通信通常利用日常照明
外泌体(exosome)是细胞分泌的一种胞外囊泡,其尺寸范围在40-160 nm,具有脂质双层膜结构。外泌体广泛存在于生物体液中,构成外泌体的主要成分为蛋白质、核酸、脂质、代谢物和胞质等。作为细胞间一种新的通讯模式,外泌体在免疫应答、信号传导、抗原呈递等过程中起着关键作用,同时在疾病诊断以及药物靶向输送方面也有广阔的应用前景。肿瘤细胞外泌体携带着的蛋白质、RNA等与肿瘤密切相关的信息,是一种重要的
2019年商用的第五代移动通信(5G,5th Generation Mobile Communication Systems)系统通过大规模多输入多输出(MIMO,Multiple Input Multiple Output)、毫米波通信、以及超密集组网实现空口增强、频谱扩展、以及网络密集化。但是随着5G商用系统的初步部署,主要核心使能技术的优缺点也日益显著,移动通信面临发展模式、架构、以及安全等
急性冠脉事件严重危害人们生命安全,动脉粥样硬化斑块突然破裂是其中的主要诱因。影像诊断学已经成为医学不可分割的重要组成部分,尤其是心脏病学介入影像技术,已成为临床诊疗的重要手段。光学相干断层成像(OCT)技术是目前空间分辨率最高的腔内介入影像学技术,可以提供高清晰的血管腔横断面图像。目前,基于OCT成像技术的临床诊断主要依赖心内科医生在OCT成像完成后,多次重复性回顾以及手工测量血管管腔的狭窄程度、
大型铁路综合客运枢纽作为综合运输体系的重要组成部分,是各种运输方式及城市交通间实现高效衔接和一体化换乘的主要环节,是提高客运效率的关键和提升服务质量的核心。准确评估大型铁路综合客运枢纽规划选址、方案设计、运营管理各阶段的合理性,对于充分发挥枢纽在内外交通以及城市内部交通中的转换作用,塑造良好的城市公共空间,优化城市交通结构,进而带动枢纽周边地区乃至整个城市的发展,具有非常重要的理论意义与实用价值。
生物分析被广泛用于血液、尿液、唾液、泪液及组织提取物中的药物、代谢物、以及各种生物标志物的定量检测,是监测人类健康和研究生命科学的有力手段。表面增强拉曼散射(SERS)因其能提供被测物质丰富的“指纹”信息且检测速度快、灵敏度高,成为一种重要生物分析手段。SERS的实现依赖于SERS基底的构建。然而,受限于目前SERS基底的制备方法以及对所用基底材料的选择,所制备出的SERS基底使用场景受限,特别是