论文部分内容阅读
图像和视频修复技术是近年来发展迅速的数字技术。数字视频修复的目的是,利用视频体中完好的未破损区域信息对视频体中缺失或破损的部分进行修复,使得修复后的视频画面拥有合理的视觉效果。本文根据视频修复技术的基本原理,在分析仿真现有视频修复算法的基础上,从视频的时空相关性和视频内容的结构特征约束等角度,研究数字视频修复技术,以提高修复视频的视觉效果。论文的主要工作和创新如下:1.系统地综述了数字视频修复技术的研究意义以及国内外研究现状,对数字视频修复中的关键技术和主要难点进行了深入分析。2.针对去抖动视频容易出现闪烁、修复的边缘容易出现断裂等现象,本文提出了一种基于Criminisi算法的视频去抖动算法,以更好地保持去抖动视频序列的时空连续性。算法首先在运动估计阶段引入视频序列的平均运动矢量,利用每一帧的运动矢量与平均运动矢量的角度差找出存在异常运动的视频帧;然后利用图像的几何变换(平移、旋转)对这些异常视频帧进行位置纠正,使其符合视频全局运动模式;在此基础上,利用当前帧、相邻帧和运动状态匹配帧中信息的相关性,对Criminisi算法中的优先权以及匹配块的搜索方式进行改进;最后利用改进的Criminisi算法,修复因几何变换后在视频帧引起的边缘空缺。仿真实验表明,去抖动视频序列具有较好时空连续性,无闪烁现象,去抖后视频序列的峰值信噪比(PSNR)平均提高了3~5 d B,结构相似度(SSIM)也有所提高。3.针对一致性视频修复算法仅利用视频的颜色和运动特征来优化目标函数,导致无法准确预测未知区域像素值的不足,本文将视频的结构信息引入到目标函数中,通过增加视频的结构特征来约束全局目标函数的优化,采用平均边缘向量场模型定位边缘,提出了一种结构约束的视频修复方法。本算法首先对破损视频进行时空金字塔变换,形成多层金字塔分解层,利用改进的边缘跟踪算法找出各层金字塔破损部分的初始边界;然后,对从上到下的第一层金字塔,采用加权平均的方式,修复破损部分边界上的像素,当完成对边界上的所有像素修复后更新边界,并对新边界上的像素进行修复,如此反复完成第一层金字塔的修复;接着,用相同的方法依次修复金字塔中的各层,直到所有破损像素都被修复;最后,利用修复的各层视频金字塔重建视频,完成对整个破损视频的修复。实验结果表明,该算法取得了更好的视觉效果,保持较好结构性和边缘的连续性。与类似相关算法相比,峰值信噪比(PSNR)平均提高了2~5d B,结构相似度(SSIM)也有所提高。