基于运动时空相关性的视频编码及质量评价技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:tyftongyunfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术、互联网技术、移动通信技术和VLSI技术的飞速发展,数字视频在人们日常生活中扮演着越来越重要的角色。数字视频资源的爆炸式增长和新应用需求的不断涌现,向视频压缩、传输、处理、显示、存储等环节都提出了更加严峻的挑战。运动是数字视频中非常重要的特征,对视频中运动的建模、估计以及处理一直是计算机视觉和多媒体技术领域研究的热点,因为它们在诸多视频应用的中都发挥着非常重要的作用。例如,从最早的国际视频编码标准H.120开始,运动估计/补偿作为去除视频时域冗余的最有效手段,一直被后续的H.26x,MPEG系列标准所沿用和改进;在视频恢复/增强的应用中,视频中运动轨迹上的时域相关性一直是用于解决病态问题的重要先验规律;在视频检索、分析等应用中,运动特征通常是视频特征向量中最重要的特征;近年来,很多学者开始研究人眼视觉系统(HVS)对视频中运动的感知原理和特性,基于主观视觉感受的压缩算法将成为视频编码领域未来几十年的研究热点。本文以视频中的运动为切入点,探索了视频中运动场的时空相关特性,分析了在视频编码、处理和质量评价等具体视频应用中,现有运动建模方法和运动估计算法的理论和技术缺陷,并提出了相应的解决和改进方案。本文的主要创新点包括:   ⑴基于运动时空相关性的跳过/直接编码模式。运动预测/补偿是视频压缩的重要技术,压缩码流中的相当一部分比例用于传输运动信息,在低码率情况下,尤其对于高清视频,用于表示运动信息所耗费的比特往往超过总码流的50%。为了减小运动信息所占的比特数,H.264/AVC等编码标准中支持SKIP或DIRECT编码模式,允许不传输运动信息,而是通过某种既定规则将运动信息导出。然而,现有的导出方式都过于简单,未能充分利用运动矢量场在时域上的相关性。本文提出了增强型的P帧和B帧跳过/直接编码模式。具体地讲,这些模式的运动矢量从一组候选的时空相邻已编码/解码宏块的运动矢量中选出,选择的标准是该运动矢量应最小化一个基于运动时空相关性的能量函数。编解码端使用相同的导出规则获取运动矢量,因而在码流中无需传输运动矢量索引信息。本文提出的编码模式更有效地利用了运动矢量场的时空相关性,因此,更多的宏块采用了这些编码模式,显著降低了运动信息所占的比特数,提高了压缩性能。   ⑵视频编码中率失真帧间依赖性研究。H.264/AVC等主流视频编码标准都采纳了基于运动估计/补偿的环路编码框架。由于当前编码帧的率失真曲线会依赖于其参考帧的重构质量,因此,如何将有限的码率资源分配给GOP中的各帧,从而达到总体率失真性能的最优,是一个非常具有挑战性的问题。本文研究了运动补偿后残差DCT系数的分布特性,通过分析发现编码失真的帧间依赖性会随着码率的增加而降低。实验结果与该理论得到了很好的吻合。基于这个规律和大量实验,我们对实际编码中量化参数的配置给出了一个经验性的建议。   ⑶基于贝叶斯运动的帧率提升算法。帧率提升是一种典型的视频后处理应用。基于运动补偿的帧间插值(MCFI,MotionCompensation Frame Interpolation)是当前最主流帧率上采样(FRUC,Frame Rate UpConversion)技术框架,而运动估计的准确性是该类算法的关键所在。本文分析和总结了FRUC技术的发展历程和现有主流算法中运动估计模块仍然存在的技术缺陷。针对这些缺陷,本文提出了一种新的基于贝叶斯框架的运动估计算法。我们将整帧运动矢量场的求解建模为一个最大后验概率(MAP)问题,并且通过置信传递(belief propagation)进行求解。通过对运动矢量场先验知识的充分利用和对整个运动矢量场的同步求解,该算法可以获得比传统方法更为准确的运动矢量。最后,通过自适应的重叠块运动补偿(OMBC),可以进一步消除运动矢量不可靠区域的块效应。作为独立的运动估计模块,该算法也可以应用到其它视频处理技术中,如视频去噪、超分辨率等。   ⑷基于时空结构特征的视频质量评价算法。如何处理视频中的运动信息和时域失真是视频质量评价的一个重要问题。现有的主流视频质量评价算法对运动的处理方式可以分为两大类:第一类算法对视频的各帧进行单独的空域失真评测,然后将它们进行时域加权综合得到最终的视频质量分数,运动特性对空域失真感知的影响会体现在加权机制中;第二类算法将视频的空域失真和时域失真分别进行建模,时域失真通常通过运动轨迹上的一些特征变化来刻画。本文提出了一种新的视频质量评价技术框架和算法。在该算法中,我们首先提取出一些用于表示视频时空局部区域内能量分布方向和强度的时空特征描述子,物体的边缘特征和运动特征可以同时被这些时空描述子所隐式地表示。从而,视频失真可以通过这些描述子的变化来表示。该算法对失真视频质量的预测和人眼主观的判断达到了很高的一致性。由于不需要显式地计算运动矢量,该算法复杂度极低,便于实际应用。本文对视频中运动特性的研究,以及对运动模型和运动估计算法在以上应用领域中的改进,是对数字视频应用的有益探索。
其他文献
学位
21世纪是我国经济发展的高速时期,伴随经济的发展,信息技术得到了快速的发展,人们对信息安全问题也越来越重视。生物识别技术的发展与应用为信息安全提供了重要的保障。在众多的
通信设备的软件系统是具有特定用途的系统,通常是实时操作系统、驱动、库、中间件和业务代码在链接时生成可执行文件,在构建可执行文件的过程中普遍使用了静态连接的方式,所以链
随着信息技术的飞速发展,IT行业对信息安全的需求与日俱增。虽然安全研究人员从信息系统机密性和完整性的角度提出多种安全策略以实现高强度的访问控制,却仍然无法阻止基于隐蔽
软件演化是软件生命周期中的一个重要活动。软件演化的目的是为了满足用户不断提出的新需求或修改软件现有缺陷。在软件演化过程中,新需求是导致软件系统不断演化的根本动力之
信息科技的发展正在改变着世界,数据库也从最简单的存储数据的表格发展到海量数据存储的大型数据库系统,并在互联网、金融、医疗、电力、电子商务等领域等到了广泛应用。数据库
入侵检测是一种用于检测计算机网络系统中入侵行为的网络信息安全技术。在计算机安全中,伪装者试图扮演合法用户的角色进入系统,是一种入侵活动。及早有效地发现入侵是保障计算
如今环境污染越来越严重,水资源紧缺问题愈益突出,如何才能有效地保护水资源已提上了人们的议程。森林作为陆地生态系统的主体,在水源涵养方面发挥着巨大的作用。在水资源短缺的
作为云计算和新兴Web2.0互联网应用的核心技术之一,分布式文件系统是当前存储系统技术领域的研究热点。分布式文件系统的资源共享、对存储平台的抽象性和隔离性、大规模扩展
高性能计算是科技创新的重要手段,随着国民经济的迅速发展,提供高效快捷的应用服务成为高性能计算应用领域研究的热点。本文从高性能应用的需求出发,分析了当前高性能应用的不足