论文部分内容阅读
图像和视频修复技术是近年来数字媒体中倍受关注的热点。修复技术的关键在于如何能够修补图像和视频中的缺损,或者不留痕迹地移除某些部分。图像和视频修复技术在古籍修护、多媒体处理、计算机动画等多方面有着广泛的应用前景。早期的修复研究多致力于静态图像的修复,近期有学者开始研究视频的修复技术。视频的修复较之静态图像修复,除了需要考虑空间上的信息外,更需注意利用时间上的信息。目前主要的视频修复方法都建立在时空一致性的基础上,但几乎都局限于静止场景或摄像机平移时拍摄的场景,对于摄像机复杂运动下拍摄的视频,尚无较好的修复方法。为此本文进行了深入的研究。现有视频修复方法之所以局限在静止场景或摄像机平移时拍摄的场景,是因为现有方法中要求物体在各帧中的位置和大小不变,至少要保证大小基本相同,这样才可以利用不同帧中的信息进行修复。本文针对这个要求,提出了一种结合运动估计的基于片取样的视频修复方法。通过将运动估计技术引入视频修复的预处理阶段,摆脱了物体必须在各帧中大小基本相同的限制。本文提出的视频修复方法对摄像机复杂运动时拍摄的视频的修复问题提出了有效的解决方法。首先使用改进的三步搜索法获得粗取样的运动向量场,然后利用运动估计技术,对需要修复的视频进行全局运动估计,求得各帧之间的全局运动模型和相应的参数。利用这些信息,将视频分为前景和背景两部分,分别进行修复。修复前景使用了有优先级的片采样修复方法,修复过程以片为单位,同时综合考虑等照度方向和可信度,按照优先级顺序填充未知区域。利用全局运动模型和相应参数,将各帧的前景信息变换到被修复帧的同一空间中,然后使用片匹配算法找到最适合的已知前景片,用来修复未知区域,同时将未知区域中被判定为背景的点设置为零优先级,使前景修复的终止条件更容易判断。在背景修复过程中,首先使用附近帧中对应于当前帧未知区域的已知背景来进行修复,这又需要用到全局运动模型了。还有一些背景是在所有帧中都被遮挡或丢失的,只能使用类似于静态图片修复的方法来进行修复。最终,视频的修复工作就完成了。经过实验证明,本文提出的方法适用于对摄像机平移、缩放、旋转等复杂运动时拍摄的视频进行修复,且结果没有明显的修改痕迹、具有真实感,说明将运动估计技术引入视频修复中是有效的,运动模型的加入使视频修复工作更加准确快速。本文的创新点:1.针对现有方法的缺陷,提出了结合运动估计的基于片取样的视频修复方法,能够较好地修复各种摄像机运动时拍摄的视频。2.在运动估计的块匹配算法中,对经典的三步搜索法进行了改进,引入势场,有效减轻了运动向量场抖动严重的状况,也使运动估计的结果更加准确。