目标感知的监控视频浓缩

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:srldf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
监控视频数据在公共安全、智慧交通、智能家居等领域具有重要的应用价值。面对其爆炸式的增长,如何实现有效信息提取与冗余信息去除是亟待解决的问题。视频浓缩技术试图通过提取监控视频中的管道(即目标运动形成的轨迹)并沿时间轴重新排列,最大化运动目标的信息保留率和最大化背景信息的约减率,以解决上述问题。一个完整的视频浓缩流程,包含前景提取、管道构造、管道重排与管道缝合等关键步骤。然而,上述流程主要存在着四个待解决的难点:(1)管道在线重排难,容易陷入局部最优,很难达到理想的约减效果;(2)运动目标提取难,面临目标尺寸差距大、前背景难以区分等挑战;(3)视频数据标注难,基于深度学习的视频前景提取模型在实际部署时需要对每一个监控场景进行充分的预标注和预训练,才能得到较为理想的运动目标提取结果;(4)管道精确构造难,现有的方法不够平滑,容易出现管道的运动信息损失。针对上述问题,本文围绕视频浓缩主线,通过进行基于动态图着色的在线管道重排、多尺度捕获与边缘增强的监控视频前景提取、无需预标注的监控视频前景语义感知以及面向精确管道获取的跟踪轨迹平滑,实现监控视频的高度约减与信息保留。本文的主要研究成果和创新包含:·为解决管道在线重排难的问题,本文提出一种基于动态图着色的在线管道重排方法。首先,针对管道重排的在线需求,本文提出将管道之间的空间与时间关系建模为一种新型的动态图模型,可随监控视频流的接收进行实时的迭代更新;其次,针对在线管道重排容易陷入局部最优的问题,本文提出一种着色算法对动态图模型进行更新,该算法考虑到新增的管道与已接收管道的约束关系,在为新管道重排的同时对现有管道进行再次调整。基于上述模型以及着色算法,本文设计了一个完整的在线视频浓缩流程。该方法在12个不同监控场景上进行实验验证,在保证高约减率的同时达到98.96%的平均息保有率。·为解决视频前景提取中运动目标尺度差距大、前背景难区分的问题,本文提出一种多尺度捕获与边缘增强的监控视频前景提取方法。此方法基于深度学习,包含三种新型的网络模块。首先,为了更好地利用监控视频所拥有的背景信息,提出一种背景嵌入模块,从背景图中提取特征作为先验信息输入到模型中;其次,为同时捕获监控视频中不同尺寸的目标信息,提出多尺度特征聚合模块,将包含细节信息的网络浅层特征与语义信息的深层特征进行融合;最后,为了让网络模型对前背景的交界区域更具判别力,提出边缘信息增强模块,在模型训练的过程中显式地加入边缘约束。在视频前景提取任务的常用数据集CDNet2014上,该方法在每个测试视频仅采用25帧作训练时,达到0.9552的平均F-Measure,超越多种先进方法。·为解决基于深度学习的视频前景提取方法需要对监控场景进行预标注与预训练的问题,本文提出一种无需预标注的监控视频前景语义感知方法。首先,为了基本实现新视频来临时无需进行预标注和预训练,本文引入更可靠的背景信息,并创新性地设计一种基于二阶注意力的深度网络模块,使得网络模型能够更清晰地挖掘到背景图像中的信息,提升对前景与背景的判别能力,从而令已有模型仍能精确处理新的监控视频;其次,为了让视频前景提取模型感知前景运动目标的语义信息,实现模型精度的进一步提升和信息丰富度的增加,提出一种带有信息交互的前景语义感知网络模型,并提出新数据集Semantic CDNet2014++以支持模型的训练和测试。利用该模型产生的语义信息,可以更灵活地服务视频浓缩等上层应用。该方法在新数据集的测试集上得到了0.8330的平均F-Measure,相比于依赖预标注的视频前景提取方法提升了0.1648。此外,本文从定性和定量的角度展示了语义感知在视频浓缩中的应用。·为解决基于目标跟踪的管道构造不精确的问题,本文提出一种面向精确管道获取的跟踪轨迹平滑方法。首先,提出一种新型的评价指标,通过对相邻若干帧跟踪结果的“抖动”程度进行量化,可以评价目标跟踪器预测结果的平滑度;其次,提出一种基于卡尔曼滤波的抖动减除方法,对跟踪器的预测结果进行修正,结合视频浓缩任务常用的广域监控视频数据的特点,同时获得平滑度与精度的提升,实现更精确的管道构造。在公开数据集上的测试结果表明,本方法能够大幅度去除水平或竖直方向上的抖动,并在跟踪目标为广域监控视频中的平滑运动目标时,进一步提升跟踪精度。综上所述,本文针对监控视频浓缩任务中亟待解决的关键问题进行了深入的探究。具体地,本文面向快速高效的在线管道重排、可靠的视频前景提取和语义感知,以及精确的管道构造等需求提出了新方法,为视频浓缩技术的应用推广和研究扩展奠定了基础。大量的实验分析验证了本文所提出方法的有效性。
其他文献
随着高强度合金材料和复合材料的应用,现代化的结构设计中人们对系统稳定性的认识和应用日益深化。一方面,失稳破坏导致的结果往往比较严重,另一方面,工程实践中人们也有利用失稳的案例。带有柔性约束的杆件以及外压圆环都是常见的结构。目前分析稳定性的方法主要是依据最小势能原理。根据Koiter初始后屈曲理论,需要对势能二阶变分的正定性进行严格的理论证明,由势能二阶变分半正定对应临界点的高阶变分的信息判断临界平
数控机床作为现代制造业的“工业母机”,是衡量国家装配制造业水平的重要标志,加工精度是其关键指标。误差补偿成为提高与保持数控机床加工精度的主要途径和发展趋势,快速准确测量数控机床的各项误差是进行误差补偿的前提与关键。作为数控机床的关键运动部件,直线轴在运动过程中共产生6自由度几何误差,数控机床三直线轴共有21项几何误差。如何实现21项几何误差的快速高精度测量,成为数控机床误差补偿急需解决的测量难题和
随着列车运量和轴重的提高,我国重载铁路钢轨、车轮的磨耗和伤损产生速度不断加快。这不仅大幅增加了工务维修养护工作量、车辆维修的车轮镟修量,还时刻威胁着铁路的行车安全、影响列车的正常运行。开展重载铁路钢轨伤损机理和防控措施的研究,对改善轮轨接触关系、延长钢轨使用寿命具有十分重要的意义。本论文以重载铁路钢轨伤损问题为研究对象,从轮轨蠕滑机理、轮轨接触几何关系出发,结合车辆-轨道耦合动力学方法和大量的现场
交通道路环境感知是自动驾驶、先进辅助驾驶系统中的关键环节,是后续车辆控制和决策的基础。精确、快速地感知交通场景可以提高自动驾驶汽车的安全性。与激光雷达、毫米波雷达等传感器相比,视觉传感器具有信息量大、成本低等优势。另外,随着深度学习技术的快速发展以及硬件性能的大幅度提升,基于视觉的环境感知技术被广泛用于自动驾驶系统。然而,现实道路交通环境复杂多样,车辆、行人等目标差异较大。而且,视觉传感器容易受到
近年来,移动互联网技术的快速进步,极大促进了新一代需求响应型公交服务的发展。预约公交作为一种线路灵活、直达便捷、舒适度高的需求响应服务,可以满足多层次公交出行需求。本文通过对预约公交潜在需求、线路、路径以及考虑多服务水平和无人驾驶技术的预约公交服务等方面的优化研究,旨在为解决现实问题提供理论依据和决策支持。论文主要内容和创新点如下:(1)针对预约公交潜在需求分析问题,提出基于公交智能卡数据(Sma
作为公共场所社会活动的主体,行人的安全问题是社会安全管理和智能安防建设的研究重点与热点。铁路综合视频监控系统现已覆盖客运站点的重要区域,为监控中心提供清晰的视频资源,成为实时监控、异常预警和事后查证的重要依据。现行铁路综合视频监控系统的智能化程度较低,内容分析手段主要依靠人工观测。随着视频采集点数量的增多、监控强度的提升,客运站点监控视频的人为解读与决策容易出现纰漏和失误,难以应对潜在的众多突发异
多排桩作为一种有效的波屏障,在环境减隔振中已得到广泛应用。然而,考虑多排桩的周期特征,引入固体物理学中的周期理论研究排桩屏障的减振特性,却是近十多年的事。目前,关于周期波屏障的研究大多局限于单相土,对饱和土中周期波屏障的研究则很有限。而且,这些研究通常采用实频散分析方法,也忽略了材料的粘性。同时,为了简化分析,未考虑移动荷载特征对周期屏障减隔振性能的影响。然而,已有研究发现,材料粘性、移动荷载的频
碳纤维复合材料以其比模量高、比强度高、抗疲劳等优异性能,为解决轨道车辆轻量化问题提供了绝佳的选择。复合材料连接部位纤维不连续,应力集中问题凸显,损伤模式相互关联,是结构薄弱和失效容易发生的区域。对此区域进行失效模式和失效规律研究以及承载力和寿命分析对整体结构的评价至关重要。碳纤维复合材料结构常用的搭接接头由于偏心加载存在端部弯曲效应,对结构承载力产生不利影响。虽然T700级碳纤维复合材料在轨道车辆
高速铁路作为大运量、高时速、可持续发展的绿色交通运输方式,已成为国家关键基础设施和重要基础产业,对我国经济社会发展和国家安全起着不可替代的全局性支撑作用。可靠的车地移动通信系统是列车安全运营的重要保障,为高速列车提供移动通信业务支持。随着铁路移动通信新型业务需求不断涌现,如旅客宽带接入业务、列车多媒体调度、铁路物联网等新业务应用应运而生,铁路移动通信系统的容量需求和频谱短缺之间的矛盾愈加严重。如何
无砟轨道是我国高速铁路主要的轨道形式,其最长服役时间已超10年。现场建设、运营经验表明,高速铁路无砟轨道结构层间损伤问题突出,已成为影响轨道结构安全服役的薄弱环节。通过对层间损伤病害的调研可知,无砟轨道层间损伤的工程表征和发生机理较为复杂,既可能在结构浇筑后的早龄期就出现离缝问题,也会因经受温度、列车等长期循环荷载逐渐劣化开裂,其本质是随时间进程发生发展的经时损伤问题。现有研究大多关注无砟轨道层间