论文部分内容阅读
随着电子技术、计算机技术、通信技术和视频压缩编码理论的发展,视频通信已成为多媒体通信的重要方向之一。而目前大多数有线、无线网络均无法提供可靠的服务质量,视频传输过程中不可避免地面临着数据的差错和丢失。ITU和ISO联合制定的视频编码国际标准H.264,以其高效的压缩效率和良好的网络友好性,成为视频通信的首选压缩标准,但其高效压缩的视频码流对传输错误也更敏感,一旦出现差错,误码将在空间和时间上迅速扩散,导致视频质量急剧下降。为提高解码图像的质量,需要采取差错控制技术对传输错误进行处理。目前,差错控制技术主要包括编码端的容错编码、解码端的错误掩盖和编解码交互的抗误码三类。本文主要研究H.264视频通信中的错误掩盖技术,即在保持图像原有内容特征和满足人类视觉特性的前提下,有效地恢复受损的图像,全文主要工作内容和研究成果如下:1.根据局部区域纹理特征相同的特点,提出了一种与受损边界像素相关性最强的邻域像素的估算方法,对于受损边界像素,将其邻域5x3像素宽的区域构成检测窗口,根据像素之间的位置关系将检测窗口划分为7个方向,统计7个方向上像素之间的差值以得到检测窗口的边缘方向,与受损像素位置关系满足此边缘方向的像素即为相关性最强的邻域像素。在此基础上,提出了一种依据边界像素边缘差值最小的空域错误掩盖算法,在基本边界插值算法的基础上引入参数ωT、ωB、ωL和ωR,建立受损像素的估算表达式,依据边界像素边缘差值最小的原则,求解参数以恢复受损的像素。仿真结果表明,本算法保证了受损块和邻域块的最大光滑连接,避免边界处出现方块效应,同时保留了受损块的部分边缘信息。2.针对时域错误掩盖运动矢量估算存在偏差的问题,提出了一种依据运动矢量边界差值最小准则的运动矢量估算方法,在距离加权算法的基础上引入参数ωT和%,构造受损子块运动矢量的估算表达式,依据受损宏块边界子块与其邻域子块运动矢量差值最小的准则求解参数,得到受损子块的运动矢量。同时,提出了一种基于运动矢量相对强度的时域错误掩盖算法,通过评估邻域块运动矢量的变化强度,将受损区域划分为运动均匀或运动剧烈区域,据此采用运动矢量边界差值最小法或拉格朗日插值法恢复受损的运动矢量,避免了不考虑图像中运动特点而采用单一错误掩盖算法的不足。仿真结果表明,本算法在不同比特率条件下对不同类型的视频序列均能恢复出更高质量的图像,具有更强的鲁棒性。3.根据相邻帧之间对应块的运动变化具有相似性的规律,提出了一种依据相似三角形模型的运动矢量估算方法,以运动矢量的水平分量、垂直分量和帧序号为坐标轴建立三维坐标系,将受损块、空间相邻块和时间相邻块的运动矢量映射到此坐标系中,构造相似三角形模型,求解此模型,得到受损的运动矢量。在此基础上,提出了一种基于运动时空相关度的时域错误掩盖算法,对于受损4x4子块,首先分别采用相似三角形法和拉格朗日法恢复其时间相关和空间相关运动矢量,然后给出一种运动时空相关度的计算方法,据此对估算的运动时域和运动空域相关的运动矢量加权平均,从而得到受损的运动矢量。此外,根据运动矢量的相近程度,自适应选择子块尺寸进行错误掩盖以消除子块边界处的方块效应。仿真结果表明,本算法对不同宏块丢失率、不同类型的视频序列均能恢复出更高质量的图像。4.针对以往算法对视频序列固定采用统一块尺寸进行掩盖,导致重建图像存在明显方块效应或无法恢复细致运动的缺点,提出了一种自适应块尺寸的整帧丢失掩盖算法,将相邻帧4x4子块根据其运动矢量外推到丢失帧,统计所有外推块与丢失帧重叠区域的面积,并结合相邻帧的编码类型,选择合适的运动矢量外推方向。对于丢失宏块,将相邻帧的运动信息沿着选定的方向外推到丢失宏块,根据外推宏块与丢失宏块重叠区域的大小和外推宏块运动矢量的相近程度,选择宏块或8x8子块进行掩盖。对于8x8子块,同理可以选择8x8子块或4x4子块进行掩盖,对于上述过程中跳过的块采用外边界匹配算法掩盖。仿真结果表明,本算法在主观和客观上均取得了较好的效果,有效地抑制了误码扩散。同时,本算法运算复杂度适中,具有广泛的实用性。