论文部分内容阅读
随着视频数据的爆炸式增长,传统的基于关键字查询的不足逐渐暴露,基于内容的视频检索技术成为切实可行的提高检索质量的方案。由于视频数据在时间域上存在极大冗余,因此关键帧选择成为影响视频检索结果的重要环节之一。实验分析表明,关键帧选择不仅影响着视频检索的速度,而且与视频检索的效果紧密相关。本文针对现有关键帧选择方法存在的问题,提出了综合视频帧失真程度、信息量高低以及相似帧过滤的关键帧选择方案。主要成果如下: 1.基于自然场景统计的失真度度量方法 严重失真的视频帧可能降低视频检索的性能,需要合理去除。视频帧失真度度量方法很多,本文结合视频检索的应用需求,通过大量实验,分析了不同失真度度量方法的优缺点,最后将基于自然场景统计的评价方法用于视频关键帧的失真度度量。实验结果表明,基于自然场景统计的方法与人类主观评价结果具有较高的相关性。 2.基于分块信息熵的信息量度量方法 现有关键帧选择方法不考虑关键帧内容的丰富性,导致低信息量的视频帧存在于关键帧集合,不仅增加了视频检索的计算开销,甚至可能降低视频检索性能。为解决这个问题,本文提出一种基于分块信息熵的视频帧信息量度量方法。其主要过程包括:首先利用视觉注意模型对图像进行预处理;然后对图像进行分块,根据每个分块在不同方向上的颜色直方图计算信息熵,再结合均值、标准差、显著像素所占比例等信息,形成信息量描述特征;最后通过训练获得回归模型对图像的信息量打分。该方法充分考虑了影响图像信息量的因素,结合了视觉注意模型,能够对视频帧的信息量高低进行准确地度量。 3.融合特征提取的相似视频帧过滤方法 视频帧相似度不仅与帧的内容相关,还与视频检索中所使用的特征相关。传统方法通常在关键帧选择和检索阶段采用不同特征,导致图像的特征空间不匹配,影响系统的检索性能。本文分析并验证了特征空间不匹配所导致的检索性能降低问题,提出在关键帧选择和检索中采用相同的特征空间,实现关键帧选择与检索阶段的特征提取过程的融合。实验结果表明:融合特征提取的相似视频帧过滤方法,不仅有效减少了视频数据库的冗余,而且提升了视频检索的性能。 4.视频检索系统 融合上述关键帧选择方法,本文实现了视频检索验证系统,在所构建的测试数据集上,将本文采用的视频检索方案与原始基于底层视觉特征查询的视频检索方案进行了对比实验。实验结果证明,应用本文提出的关键帧选择方法,视频检索系统的性能和速度均获得了有效提升。