论文部分内容阅读
随着互联网与多媒体技术的进一步发展,以及数字化设备和大容量存储设备的普及,每天都有大量的视频信息产生,如何快速有效地对视频进行处理和分析已经成为一个亟待解决的重要问题。视频关键帧提取技术是一种快速浏览和检索海量视频数据的有效方法,也是视频摘要的基础。常用的视频关键帧提取方法包括基于镜头检测的方法、基于图像特征提取的方法、基于聚类的方法以及基于运动信息分析的方法,这四类方法对视觉显著性的利用都不太充分,导致所提取的关键帧的代表度低、冗余度高,且与用户主观所提取的关键帧的符合度较低。本文的研究目的主要是提取出更符合人类视觉系统,且能够高度概括原始视频内容的关键帧,主要工作内容包括以下两个方面:(1)提出一种基于视觉显著性和二次层次聚类的视频关键帧提取方法。具体工作内容如下:将显著性检测算法应用于原始视频序列,结合图像显著性区域的底层特征和运动信息,构建融合特征向量;然后通过融合特征向量之间的相似性计算,去除冗余信息;其次提出一种基于互信息的二次层次聚类的算法,一次层次聚类自适应确定聚类阈值,具有实时性,二次聚类人工设置聚类阈值,满足不同用户的需求;最后选取每个簇中与其他帧之间的平均互信息最大的帧作为关键帧。通过与当前主流的视频关键帧提取算法的对比实验,验证了所提算法的有效性和适用性,且选取的关键帧更适合人类的视觉系统;(2)提出一种基于PCA和时序k-means聚类的关键帧提取方法,主要研究在图像特征提取效果较理想的基础上,如何用快速收敛的聚类算法来进行相似特征的聚类。具体工作内容如下:利用主成分分析(Principal Component Analysis,PCA)提取融合特征向量的主成分,以累计贡献率为度量准则确定视频在时间维度上的主成分个数,并将主成分个数作为关键帧数目;然后计算视频帧之间的相似性,生成距离时间分布曲线图,根据曲线峰值确定聚类初始边界;其次利用时序k-means聚类算法对初始簇进行优化;最后从每个簇中选择距离簇中心最近的帧作为关键帧。实验结果表明,本文算法所生成的关键帧与用户摘要匹配度更高,代表性高,冗余率较低,同时保持了原始视频的时序性,更适合人类的视觉系统,且根据视频的类型和长度灵活地确定关键帧的数目,为用户提取合适长度的关键帧提供了有效的依据。