论文部分内容阅读
随着多媒体技术、互联网技术、移动通信技术和VLSI技术的飞速发展,数字视频在人们日常生活中扮演着越来越重要的角色。数字视频资源的爆炸式增长和新应用需求的不断涌现,向视频压缩、传输、处理、显示、存储等环节都提出了更加严峻的挑战。运动是数字视频中非常重要的特征,对视频中运动的建模、估计以及处理一直是计算机视觉和多媒体技术领域研究的热点,因为它们在诸多视频应用的中都发挥着非常重要的作用。例如,从最早的国际视频编码标准H.120开始,运动估计/补偿作为去除视频时域冗余的最有效手段,一直被后续的H.26x,MPEG系列标准所沿用和改进;在视频恢复/增强的应用中,视频中运动轨迹上的时域相关性一直是用于解决病态问题的重要先验规律;在视频检索、分析等应用中,运动特征通常是视频特征向量中最重要的特征;近年来,很多学者开始研究人眼视觉系统(HVS)对视频中运动的感知原理和特性,基于主观视觉感受的压缩算法将成为视频编码领域未来几十年的研究热点。本文以视频中的运动为切入点,探索了视频中运动场的时空相关特性,分析了在视频编码、处理和质量评价等具体视频应用中,现有运动建模方法和运动估计算法的理论和技术缺陷,并提出了相应的解决和改进方案。本文的主要创新点包括:
⑴基于运动时空相关性的跳过/直接编码模式。运动预测/补偿是视频压缩的重要技术,压缩码流中的相当一部分比例用于传输运动信息,在低码率情况下,尤其对于高清视频,用于表示运动信息所耗费的比特往往超过总码流的50%。为了减小运动信息所占的比特数,H.264/AVC等编码标准中支持SKIP或DIRECT编码模式,允许不传输运动信息,而是通过某种既定规则将运动信息导出。然而,现有的导出方式都过于简单,未能充分利用运动矢量场在时域上的相关性。本文提出了增强型的P帧和B帧跳过/直接编码模式。具体地讲,这些模式的运动矢量从一组候选的时空相邻已编码/解码宏块的运动矢量中选出,选择的标准是该运动矢量应最小化一个基于运动时空相关性的能量函数。编解码端使用相同的导出规则获取运动矢量,因而在码流中无需传输运动矢量索引信息。本文提出的编码模式更有效地利用了运动矢量场的时空相关性,因此,更多的宏块采用了这些编码模式,显著降低了运动信息所占的比特数,提高了压缩性能。
⑵视频编码中率失真帧间依赖性研究。H.264/AVC等主流视频编码标准都采纳了基于运动估计/补偿的环路编码框架。由于当前编码帧的率失真曲线会依赖于其参考帧的重构质量,因此,如何将有限的码率资源分配给GOP中的各帧,从而达到总体率失真性能的最优,是一个非常具有挑战性的问题。本文研究了运动补偿后残差DCT系数的分布特性,通过分析发现编码失真的帧间依赖性会随着码率的增加而降低。实验结果与该理论得到了很好的吻合。基于这个规律和大量实验,我们对实际编码中量化参数的配置给出了一个经验性的建议。
⑶基于贝叶斯运动的帧率提升算法。帧率提升是一种典型的视频后处理应用。基于运动补偿的帧间插值(MCFI,MotionCompensation Frame Interpolation)是当前最主流帧率上采样(FRUC,Frame Rate UpConversion)技术框架,而运动估计的准确性是该类算法的关键所在。本文分析和总结了FRUC技术的发展历程和现有主流算法中运动估计模块仍然存在的技术缺陷。针对这些缺陷,本文提出了一种新的基于贝叶斯框架的运动估计算法。我们将整帧运动矢量场的求解建模为一个最大后验概率(MAP)问题,并且通过置信传递(belief propagation)进行求解。通过对运动矢量场先验知识的充分利用和对整个运动矢量场的同步求解,该算法可以获得比传统方法更为准确的运动矢量。最后,通过自适应的重叠块运动补偿(OMBC),可以进一步消除运动矢量不可靠区域的块效应。作为独立的运动估计模块,该算法也可以应用到其它视频处理技术中,如视频去噪、超分辨率等。
⑷基于时空结构特征的视频质量评价算法。如何处理视频中的运动信息和时域失真是视频质量评价的一个重要问题。现有的主流视频质量评价算法对运动的处理方式可以分为两大类:第一类算法对视频的各帧进行单独的空域失真评测,然后将它们进行时域加权综合得到最终的视频质量分数,运动特性对空域失真感知的影响会体现在加权机制中;第二类算法将视频的空域失真和时域失真分别进行建模,时域失真通常通过运动轨迹上的一些特征变化来刻画。本文提出了一种新的视频质量评价技术框架和算法。在该算法中,我们首先提取出一些用于表示视频时空局部区域内能量分布方向和强度的时空特征描述子,物体的边缘特征和运动特征可以同时被这些时空描述子所隐式地表示。从而,视频失真可以通过这些描述子的变化来表示。该算法对失真视频质量的预测和人眼主观的判断达到了很高的一致性。由于不需要显式地计算运动矢量,该算法复杂度极低,便于实际应用。本文对视频中运动特性的研究,以及对运动模型和运动估计算法在以上应用领域中的改进,是对数字视频应用的有益探索。