论文部分内容阅读
随着网络的发展和移动视频的兴起,以及支持Web的各种移动设备、平板电脑的涌入和普及,在多样化的显示设备上高质量地显示视频和图像的需求越来越强烈。要求视频和图像不仅能够适应显示终端不同的长宽比和分辨率,而且能够根据用户或网页页面的需要改变尺寸或长宽比例。传统的方法,如最近邻域、双线性插值等,对视频中图像进行缩放时会引起内容的失真甚至畸变。视频本身有着内容多样性、时空连续性和数据量巨大等特性。本文从这几方面着手,提出一种基于轴对齐变形的内容感知视频缩放方法。主要工作包括:
针对视频内容的多样性,在视频分析阶段利用低层和高层的视觉特征来对视频进行分析,为后续的视频缩放阶段做好准备工作。其中结合梯度、人脸和运动三个方面的信息来描述基于内容感知的显著图,给出像素显著度矩阵的计算公式和方法。最终根据应用环境选择合适方法进行梯度计算、人脸检测以及运动检测,利用得到的结果进行像素显著度矩阵的计算,完成对视频内容的分析。
针对视频本身的时空连续性,将视频缩放问题转化为二次规划问题。基于视频分析的结果和轴对齐变形,建立带有帧间一致性约束的视频缩放求解系统。在保证单帧视频图像缩放效果的同时,有效减少视频播放中的抖动或波动等现象。使用常用的变形能量函数,对本文提出的方法进行大量实验测试。视觉判断和用户调查的结果都表明,本文提出的方法能够得到满意且鲁棒的缩放结果,特别是对含有人脸和运动的视频。同时,视频缩放阶段求解一帧视频图像可在毫秒级时间内完成。
针对视频数据量和计算量巨大,难以达到实时性要求的问题,提出一些优化方法和策略。首先对整个系统进行性能分析找出瓶颈所在,然后利用边界处理、循环展开、去除冗余计算等方法对梯度计算部分进行优化。同时,利用视频帧之间时空连续的特点,采用折中策略通过降低人脸检测的频率来对耗时的人脸检测部分进行改进。同样运动检测部分也可采用相同策略。实验结果表明,对视频分析阶段进行优化后梯度计算部分性能提升30%以上;人脸(或运动)检测频率的降低,既能得到较满意的结果,又能大大减少时间开销。最终,整个系统对于小分辨率(不压缩的情况下视频图像数据量为11.7MB/s以下)视频能够达到实时要求。
综上所述,本文提出并实现的基于轴对齐变形的内容感知视频缩放方法简单有效,能够对任意长宽比的缩放要求得到满意且鲁棒的结果。在手机、平板电脑等显示设备越来越多样化的网络时代,本文方法对解决现有方法的屏幕利用率不高或形变严重等问题,以及提升用户视觉体验促进移动视频的发展有着实际而重要的意义。