论文部分内容阅读
Egocentric视频显著目标提取是指提取Egocentric视频中具有独立视觉意义的显著目标区域,对后续行为识别、场景理解、语义分析等高级视觉任务具有重要意义。近年来,随着穿戴式生活记录相机的大量应用,基于Egocentric视频的显著目标提取引起研究人员的广泛关注。针对Egocentric视频信息量大、冗余信息多、目标尺度差异明显等的特点,研究基于Egocentric视频的显著目标提取具有重要的意义。本文以Egocentric视频帧序列为输入,研究基于Egocentric视频的有意义帧提取算法与基于时空显著性的Egocentric视频显著目标提取算法,最后生成针对有意义目标的Egocentric视频摘要。本文的主要工作如下:(1)研究了基于CNN特征的域适应Egocentric视频有意义帧提取算法。已标注有意义帧的固定视角视频数据与Egocentric视频数据存在分布差异,而重新构建Egocentric视频人工标注训练数据工作量巨大,针对这一问题,本文提出了一种基于CNN特征的域适应Egocentric视频有意义帧提取算法,以已标注有意义帧的固定视角视频数据为源样本,分别提取基于CNN的源域和目标域(Egocentric视频)特征,构建连接源域和目标域的域不变特征空间,在域不变空间进行源样本和目标样本相似度计算,根据有意义帧置信度提取Egocentric视频中的有意义帧。在UTEgocentric数据集上的对比实验验证了本文提出算法的有效性。(2)研究了基于时空显著性的Egocentric视频显著目标提取算法。本文基于Egocentric视频时空显著性信息,提出了一种递进式的显著目标提取算法。首先利用时间显著性获得初步的目标分割结果即候选区域,然后在候选区域中分别从像素和区域两个方面计算目标的空间显著性,通过融合时间显著性和空间显著性信息得到最终的Egocentric视频时空显著图,最后基于时空显著图提取出Egocentric视频中的显著目标。基于显著性的目标检测实验表明,本文算法针对Egocentric视频的显著性检测较IT、GB、SR、CA、AGV算法更优,基于时空显著图的目标提取实验结果对比验证了本文提出算法的有效性。(3)实现了一种针对有意义目标的Egocentric视频摘要生成方法。给定一段没有编辑过的Egocentric视频帧序列,首先采用本文提出的视频有意义帧提取方法提取该视频的有意义帧,在得到有意义帧的基础上,再基于时空显著性提取出其中的显著目标,得到有意义目标视频帧,然后将有意义目标视频帧按照时间排序,通过对提取到的目标进行聚类识别得到视频中的目标类别数,最后生成针对有意义目标的Egocentric视频摘要。