论文部分内容阅读
近年来,新兴的数字多媒体技术给人们带来了多样化的观影体验。与传统的二维视频相比,三维视频可以为观影者提供更加身临其境的观影效果,因此受到了广泛的关注与研究。影响三维视频显示效果的主要因素包括视点的数量,随着视点数量的增加视频立体感增强,观影范围增大,而数据量也随之增加。此外为了提高显示效果,三维视频一般都有着很高的分辨率和帧率。因此三维视频的数据传输量是传统二维视频的数倍,巨大的数据传输压力与有限的宽带限制了三维视频的应用与发展。针对传输带宽有限的问题,本论文将二维视频帧率提升(Frame Rate Up-Conversion,FRUC)方法扩展到三维视频中,利用三维视频彩色图与对应深度图对三维视频进行帧率提升,通过在接收端合成高帧率三维视频,减少了系统发送端的发送量,达到节省传输带宽的目的。由于在三维视频帧率提升过程中需要用到高质量的深度图,而常规深度相机获取的深度图存在大量噪声,因此本论文还对深度图修复问题进行了研究。另外,三维视频的帧率提升技术旨在减少三维视频传输,却易被用来对视频格式进行篡改,以达到提高上传视频点击率的目的,针对这一问题,本文还提出了一种视频格式篡改的检测方法。本论文的主要内容及贡献有以下三点:1、提出了一种深度图加彩色图的三维视频帧率提升方法。该方法利用深度图与彩色图的边缘一致性,首先在运动估计过程中对宏块进行边缘块与平坦块分类,根据块属性进行不同的运动矢量估计从而得到更为精确的运动矢量。估计错误的运动矢量可通过运动矢量后处理过程进行检测与纠正。在得到精准的运动矢量后,根据像素点是否为边缘点进行像素点补偿。此外,基于纹理增强的运动矢量估计准则被应用其中,有利于快速找到匹配宏块。该算法能有效提升内插深度图及彩色图的质量。2、提出了一种基于边缘约束的深度图修复方法。该方法主要包括两部分,首先是空洞分类,它利用彩色图与深度图的边缘一致性对深度图的空洞进行分类与标记。其次是深度图修复,通过基于双边带滤波器的插值方法对空洞像素进行空洞填补。最后利用基于深度可靠度的联合三边带滤波方法对深度图进行降噪处理。该方法可以有效提高Kinect相机拍摄的深度图质量。3、提出了一种基于频谱分析的视频伪帧检测方法。该方法首先使用基于局部二值模式(Local Binary Patterns,LBP)的关键帧检测方法来分割原始视频。然后对每个视频序列进行分块离散余弦变换(Discrete Cosine Transform,DCT),以通过滤除图像的低频部分来区分原始帧与插入帧的差异。对滤波后的图像进行逆离散余弦变换(Inverse Discrete Cosine Transform,IDCT)以计算各帧的边缘强度。在得到帧序列边缘强度曲线后,利用霍夫曼平均线对该曲线进行二值化,从而对插入的伪帧进行定位,并估算出视频原始帧率。该方法可以有效检测出采用帧率提升方法进行视频格式作弊的视频伪帧。实验结果与分析表明,本论文提出的三维视频帧率提升算法的主观图像效果及客观PSNR等指标均优于经典算法。提出的深度图修复算法可以减少深度图空洞与深度图噪声,提高深度图的质量。提出的伪帧检测算法在测试视频库上能达到97.2%的平均检测准确度。