论文部分内容阅读
多媒体技术的快速发展,使人们能在具有不同显示尺寸的设备上流畅地观看视频节目。为了使视频适应不同的播放设备,需要对视频进行缩放处理。采用均匀缩放、边缘填充和裁剪等传统的视频重定向方法对视频进行缩放处理时,由于不关注内容本身的特征,往往造成重要内容的丢失或变形,并且容易使视频产生抖动或者出现波纹状,影响人们的观看体验。近年来基于内容感知的视频重定向方法成为了研究热点,该方法的目标是在视频尺寸的缩放过程中,尽量避免视频内容的丢失或者变形,并保护重建视频的时间连贯性。其中,基于细缝裁剪的视频重定向方法能够通过删除或者添加特定细缝,来达到视频的目标尺寸,同时也保护了重要的对象以及保持视频的时空连贯性。然而,对于重要对象占比较大或者需要较大幅度的缩小尺寸时,细缝通常难以避免穿过重要对象,造成重要内容的变形。此外,对于对象运动剧烈的视频来说,现有方法不能控制好时空连贯性和重要对象形变之间的平衡,容易出现失真变形或者抖动。为了解决上述问题,本文对现有的细缝裁剪方法进行了深入研究,研究结果如下:提出了一种基于细缝裁剪和均匀缩放的多算子视频重定向方法,该方法将细缝裁剪和均匀缩放有机地结合在一起,使得即使处理目标尺寸和原始尺寸相比变化较大或者重要对象在空域占比较大的情况时,可以保护重要内容和重要对象的整体概貌,同时较好的保持时间的连贯性。具体来说,首先提出了一种判断视频类型的方法,可以自适应的识别输入视频的类型。然后,对分类后的视频进行细缝裁剪处理。在求能量图时,加入了空间变形度量来进一步保护空间中的重要对象。同时,通过相邻几帧的梯度图进一步优化当前帧的能量图。根据能量图对视频进行细缝裁剪处理,直至最优切换值时,转换为均匀缩放处理至目标尺寸。本文对不同视频序列进行了测试,并与传统的视频重定向方法以及目前流行的基于细缝裁剪的视频重定向方法进行了对比试验,从主观质量评价、客观质量评价和时间复杂度三个方面来分析本文方法的性能。实验结果表明:处理得到的视频重定向结果,在主观质量方面有着更好的视觉效果,同时客观评价结果也优于其他的方法。为了解决细缝裁剪方法在处理重要对象运动剧烈的视频时,容易出现重要对象变形或产生抖动等问题,本文提出了一种基于细缝裁剪和分组优化的视频重定向方法。该方法分为预处理和实时处理两个模块。预处理是将视频经过均匀缩放扩大处理,再进行细缝裁剪处理至原始视频尺寸。接下来对视频进行实时处理,本文加入运动历史图来指导细缝的选取,并根据高速缓存的思想来进一步优化能量图,然后利用重要对象运动的剧烈程度对视频序列进行分组,并分组调整能量图,根据能量图进行细缝裁剪处理。当目标尺寸大于阈值时,直接对视频逐帧处理至目标尺寸;否则,处理至阈值后,转换为均匀缩放处理至目标尺寸。这样使处理重要对象运动剧烈的视频时,仍能较好的保持时空连贯性和重要对象形状保持之间的平衡,并且能减少现有细缝裁剪方法出现的误差传递。实验结果表明,对于重要对象运动剧烈的视频,利用该方法获得的重定向视频的主观效果较好;其客观质量的评价结果也优于其他方法。