基于轴对齐变形的视频缩放技术的研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:nathon_zhwang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的发展和移动视频的兴起,以及支持Web的各种移动设备、平板电脑的涌入和普及,在多样化的显示设备上高质量地显示视频和图像的需求越来越强烈。要求视频和图像不仅能够适应显示终端不同的长宽比和分辨率,而且能够根据用户或网页页面的需要改变尺寸或长宽比例。传统的方法,如最近邻域、双线性插值等,对视频中图像进行缩放时会引起内容的失真甚至畸变。视频本身有着内容多样性、时空连续性和数据量巨大等特性。本文从这几方面着手,提出一种基于轴对齐变形的内容感知视频缩放方法。主要工作包括:   针对视频内容的多样性,在视频分析阶段利用低层和高层的视觉特征来对视频进行分析,为后续的视频缩放阶段做好准备工作。其中结合梯度、人脸和运动三个方面的信息来描述基于内容感知的显著图,给出像素显著度矩阵的计算公式和方法。最终根据应用环境选择合适方法进行梯度计算、人脸检测以及运动检测,利用得到的结果进行像素显著度矩阵的计算,完成对视频内容的分析。   针对视频本身的时空连续性,将视频缩放问题转化为二次规划问题。基于视频分析的结果和轴对齐变形,建立带有帧间一致性约束的视频缩放求解系统。在保证单帧视频图像缩放效果的同时,有效减少视频播放中的抖动或波动等现象。使用常用的变形能量函数,对本文提出的方法进行大量实验测试。视觉判断和用户调查的结果都表明,本文提出的方法能够得到满意且鲁棒的缩放结果,特别是对含有人脸和运动的视频。同时,视频缩放阶段求解一帧视频图像可在毫秒级时间内完成。   针对视频数据量和计算量巨大,难以达到实时性要求的问题,提出一些优化方法和策略。首先对整个系统进行性能分析找出瓶颈所在,然后利用边界处理、循环展开、去除冗余计算等方法对梯度计算部分进行优化。同时,利用视频帧之间时空连续的特点,采用折中策略通过降低人脸检测的频率来对耗时的人脸检测部分进行改进。同样运动检测部分也可采用相同策略。实验结果表明,对视频分析阶段进行优化后梯度计算部分性能提升30%以上;人脸(或运动)检测频率的降低,既能得到较满意的结果,又能大大减少时间开销。最终,整个系统对于小分辨率(不压缩的情况下视频图像数据量为11.7MB/s以下)视频能够达到实时要求。   综上所述,本文提出并实现的基于轴对齐变形的内容感知视频缩放方法简单有效,能够对任意长宽比的缩放要求得到满意且鲁棒的结果。在手机、平板电脑等显示设备越来越多样化的网络时代,本文方法对解决现有方法的屏幕利用率不高或形变严重等问题,以及提升用户视觉体验促进移动视频的发展有着实际而重要的意义。
其他文献
三维扫描技术被广泛使用在逆向工程、文物保护、工业生产、刑事侦查、三维传真等领域。点云数据就是指由扫描得到的以点的形式记录的数据,每一个点对应一个三维坐标。三维扫
随着现代移动通信网络的发展进入了一个新阶段,移动通信网络除了满足用户的数据高速传输外,还需要未来的网络具有灵活性、适应性等特性。无线自组织网络(AdHoc)是一种自创造、
社交网络作为一个新兴事物正被越来越多的人所接受,其发展到今天已经与我们的生活息息相关。过去几年里,人们只是把“社交化”加在媒体、游戏等前面进行大肆宣传,所以现在我
车牌识别技术(LPR, License Plate Recognition)是智能交通系统(ITS)中的重要技术之一。本文对车牌识别系统中涉及的关键技术进行研究与探讨,并给出有效的解决方法。车牌定位
本文主要研究了基于视频序列的人体检测和跟踪技术,该技术能够应用在智能监控,人体动作分析,人机交互,基于内容的视频检索以及智能驾驶系统等领域中,其涉及到模式识别、人工
由于GPS设备能够提供定位、导航和路线规划等多种实用功能,它已经成为人们出行生活中必不可少的电子设备。与此同时,这也更突显出GPS设备所携带的数据的重要性。对于取证工作
随着互联网的发展,数据安全和隐私保护的重要性越来越明显。信息的负表示是一种新的很有前景的数据安全和隐私保护方法。负调查就是在信息负表示思想的基础上提出的。这种调查
由于人脸分析具有广泛的应用前景,该研究在近些年来得到了越来越多的关注。目前的人脸分析的工作主要都针对可见图像。而光照变化影响可见图片的外观特征,因此,基于可见图像的人
无线传感器/执行器网络是近年来发展起来的一种新型、无基础设施、自组织的无线网络。它衍生于无线传感器网络,由众多的传感器和执行器组成,通过无线自组网方式,完成分布式感测
3D-HEVC中引入深度图实现更好的视图合成。针对深度图的特点3D-HEVC在深度图帧内模式选择过程中增加了深度建模模型(Depth modeling modes,DMMs)。目前3D-HEVC中的帧内模式除