论文部分内容阅读
视频摘要是指将视频中冗余的空白信息消除,生成长度远远小于原视频且仅包含关键信息的摘要视频供用户进行快速浏览。动态视频摘要由于具备凝炼视频中目标动态信息的特性,在视频侦查、嫌疑目标搜寻具有广阔的应用前景,近年来成为了计算机视觉领域的一项研究热点。由于需要实现时间上的压缩与空间中目标相对动态信息的保留,使得生成的摘要视频在实现较高的压缩率时,无法高质量地避免目标轨迹之间的碰撞,使得压缩率与碰撞比的时空矛盾性成为了动态视频摘要方法的核心难点。本文主要从解决目标轨迹重排中碰撞问题的思路出发,通过判断策略、构建图模型、分段处理摘要框架、目标筛选分类等手段,选择合理的目标时域位置来避免空间的碰撞,同时保证方法的速度与目标筛选性能。 首先,本文针对传统视频摘要技术复杂度高、时序混乱以及碰撞严重等问题,提出了一种基于重排模型判断策略的视频摘要方法。利用决策制的判断策略来限制目标管重排的模型计算,定义了时序模型、密度模型以及碰撞模型来对传统视频摘要中的时序和遮挡等问题进行处理。实验表明,基于重排模型判断策略的目标管视频摘要方法能够有效地提升算法效率、时序稳定度和减少碰撞的性能。 其次,为了解决现有视频摘要方法中高压缩率和低碰撞率之间的矛盾,本文提出了一种基于图着色的视频摘要生成方法。通过利用潜在碰撞图来表示重排后目标管之间的空间关系,将目标管重排问题转化成了图着色问题。图模型中节点表示了目标管及潜在碰撞点,边则表示目标管的潜在碰撞关系。为了避免碰撞的发生,通过图着色方法对潜在碰撞图进行着色,从而实现目标管在摘要视频中的时间定位。更多地,为了令用户在碰撞率和压缩比之间进行折衷选择,设置了可供调节的着色间隔。实验结果证明,基于图着色的视频摘要方法在减少碰撞率的同时,可以生成更为紧凑的视频摘要。 再次,本文在提出基于图着色的视频摘要方法的基础上,对该方法在速度性能与时序混乱度上的问题进行了改进,提出了一种基于潜在碰撞图的在线视频摘要方法。利用优化的潜在碰撞图表示目标管间碰撞关系,对节点直接添加碰撞约束获得目标管起始帧。为进一步提高运算速度,采用分段式的在线目标管重排算法框架,将目标管重排的全局最优化问题转化成了分段式优化问题。实验证明,基于潜在碰撞图的视频摘要方法不仅能够在压缩率、紧凑度以及碰撞度上取得较优的性能,同时能保持良好的时序一致性以及实现接近实时地运算速度。 最后,为了满足用户对不同目标类型分别摘要的需求,解决视频场景中目标数量过多造成的拥挤现象,提出了一种结合人车分类的视频摘要方法。该方法首先对视频中提取的目标管利用分类器进行分类处理,然后根据用户需求,分别针对人、车和所有目标进行目标管重排,得到不同类型目标的视频摘要。实验证明,通过人车分类,不仅有利于本文摘要方法中相关参数的灵活设置,得到压缩率更高、碰撞率更小的摘要视频,而且可以帮助用户快速地浏览原视频中行人或车辆目标的动态信息,具备良好的用户交流度。