论文部分内容阅读
摘 要：可扩展编码对视频数据只压缩一次，但允许用户以多个帧率、空间分辨率或视频质量进行解码。从而仅用一个可调整的码流就可以满足不同用户的个性化需求。视频可分级编码包括空域可分级编码、时域可分级编码、质量可分级编码等。
关键词：空间分辨率；可分级编码；视频
1 引言
网络中多媒体数据的传输取决于以下三个参数[1]：用户需求、信道特征与终端处理能力。由于视频传输对实时性有严格的要求，而用户经终端和用户对服务质量需求具有异构的特点，为了在时变、带宽受限的无线网络中高效地传输视频，视频编码需要对算法的复杂度、压缩效率、容错能力、可扩展能力等方面做综合的考虑。
2 可分级编码的基本模式
2.1 空域可分级编码
空域可分级性编码是指将一个视频序列在空域内分为两层，每一层的帧率相同，但空间分辨率不同。基本层的空间分辨率较原始输入视频帧的空间分辨率低，增强层被用来传输一些恢复全分辨率必需的一些信息，基本层被重构后经过上采样形成了增强层的高分辨率的预测图像。可分级编码的一个重要特征便是基本层可单独解码，因此基本层可被编码成不同的视频格式，在不同的标准之间提供协调能力，这种功能对许多应用来说非常有用，包括HDTV/TV系统的嵌入式编码，这该系统中可以把数字电视的服务移植到更高空域分辨率的HDTV服务[3]。
空域可分级性编码是通过为视频中的每一帧都创建多分辨率的方式来实现的，如图1。通过对基本层的解码，用户可以得到一个低分辨率的视频图像；解码第一层增强层可以得到一个较大的重建图像，通过逐级解码各层增强层，用户可以观赏到不断增加分辨率的图像，直到原始图像的全分辨率。
2.2 时域可分级编码
视频序列是由连续的多帧图像组成，帧率越高，给人的视觉就越流畅、越好。但是，帧率增加不但会使传输的数据量大大增加，而且也要求用户端有较好的处理能力和显示能力。因此，对于不同的用户，对帧率有不同的要求。时域可分级就是为了满足用户对视频按不同帧率显示的要求提出的。
时间可分级性就是对同一个视频使用不同的时间分辨率或是帧率来表示，它可以对不同内容的层使用不同的帧率来实现。一般可以利用对较低层进行时间上的上采样作为高层的预测。时间可分级的编解码过程和空间可分级的编解码过程相似，唯一的差别是空间可分级编解码器使用的是空间的上采样和下采样；而时间的可分级编解码器使用的是时间的上采样和下采样[2]。时域可分级常常是通过在码流中添加B帧来实现。B帧利用它在时间上最近邻的前后两个I帧或P帧来进行预测的，而它本身并不作为任何其它帧的参考图像，因此在传输中丢弃B帧并不影响其它帧的质量，而仅仅降低帧率。
图2所示的是时域可分级编码示意图。时域可分级编码的基本层码流经过解码重构后可以得到较低帧率的视频序列。如果用户希望更流畅的视觉效果，可以除解码基本层外还应解码增强层，这样可以得到更高帧率的视频序列。
2.3 质量可分级编码
质量可分级性定义为具有可变的彩色模式精度的视频序列的表示。它是通过对视频图像不断的采用越来越精细的量化步长来实现的。因为不同的量化精度导致的重建图像具有不同的PSNR值，所以这类的可分级性通常称为质量（SNR）可分级性。
图3是一个具有N层质量可分级编码的示意图。在解码端的第一层是基本层，基本层提供了一个低质量的重建图像的版本。然后解码增强层，这样能使得重建图像的质量逐步提高，直到最高质量。基本层是对原始图像或在变换域（如DCT域）使用一个粗糙的量化器编码得到；第一层增强层是对原始图像与基本层重建的图像之间的差值使用比基本层更精细的量化器后编码得到；类似地，后面每一层的增强层都是对原始图像与上一层重建图像之间的差值使用逐渐精细的量化器后编码得到。
解码器是编码器的一个逆过程。首先是分别将基本层和增强层的码流送入不同的解码单元。对于基本层，其解码器与无分级解码器的工作方式完全相同。对于增强层，解码器需要进行增强层码流的可变长解码（VLD）和反量化，并将基本层的DCT系数加到增强层更为精细的DCT系数上。这样，对增强的DCT系数进行反变换后，就能得到质量较好的增强层视频。
2.4 混合可分级编码
质量、空间、时间和频率可分级性都是基本的可分级机制，将他们组合起来的混合可分级，可以达到更细力度的可分级性，满足一定应用的需求。如果将两种基本可分级性结合，这样就会产生3层，他们分别是基本层，增强层-1，和增强层-2。这里的增强层-1是增强层-2的底层，在解码端，增强层-2需要得到增强层-1才能解码。
3 小结
本文介绍了视频可分级编码基本模式。它包括空域可分级、时域可分级、质量可分级、频域可分级、混合可分级等。从前面的介绍我们了解到，时域分级，意味着基本层码流具有较低的帧频，而增强层码流具有提高帧频的作用；空域分级，意味着基本层码流是原始视频信号的低分辨率部分，增强层码流则包含提高分辨率所需要的附加信息。
参考文献
[1]沈兰荪，卓力.小波编码与网络视频传输[M].北京：科学出版社，2005年4月.
[2]沈兰荪等.视频编码与低速率传输[M].北京：电子工业出版社，2001.
[3]ISO/IEC IS 13818-2 / ITU-T Rec. H.262， "Generic coding of moving pictures and associated audio， part 2： video"， November 1994.
[4]MPEG-4VerificationModelVM11， Tokyo98.
关键词：空间分辨率；可分级编码；视频
1 引言
网络中多媒体数据的传输取决于以下三个参数[1]：用户需求、信道特征与终端处理能力。由于视频传输对实时性有严格的要求，而用户经终端和用户对服务质量需求具有异构的特点，为了在时变、带宽受限的无线网络中高效地传输视频，视频编码需要对算法的复杂度、压缩效率、容错能力、可扩展能力等方面做综合的考虑。
2 可分级编码的基本模式
2.1 空域可分级编码
空域可分级性编码是指将一个视频序列在空域内分为两层，每一层的帧率相同，但空间分辨率不同。基本层的空间分辨率较原始输入视频帧的空间分辨率低，增强层被用来传输一些恢复全分辨率必需的一些信息，基本层被重构后经过上采样形成了增强层的高分辨率的预测图像。可分级编码的一个重要特征便是基本层可单独解码，因此基本层可被编码成不同的视频格式，在不同的标准之间提供协调能力，这种功能对许多应用来说非常有用，包括HDTV/TV系统的嵌入式编码，这该系统中可以把数字电视的服务移植到更高空域分辨率的HDTV服务[3]。
空域可分级性编码是通过为视频中的每一帧都创建多分辨率的方式来实现的，如图1。通过对基本层的解码，用户可以得到一个低分辨率的视频图像；解码第一层增强层可以得到一个较大的重建图像，通过逐级解码各层增强层，用户可以观赏到不断增加分辨率的图像，直到原始图像的全分辨率。
2.2 时域可分级编码
视频序列是由连续的多帧图像组成，帧率越高，给人的视觉就越流畅、越好。但是，帧率增加不但会使传输的数据量大大增加，而且也要求用户端有较好的处理能力和显示能力。因此，对于不同的用户，对帧率有不同的要求。时域可分级就是为了满足用户对视频按不同帧率显示的要求提出的。
时间可分级性就是对同一个视频使用不同的时间分辨率或是帧率来表示，它可以对不同内容的层使用不同的帧率来实现。一般可以利用对较低层进行时间上的上采样作为高层的预测。时间可分级的编解码过程和空间可分级的编解码过程相似，唯一的差别是空间可分级编解码器使用的是空间的上采样和下采样；而时间的可分级编解码器使用的是时间的上采样和下采样[2]。时域可分级常常是通过在码流中添加B帧来实现。B帧利用它在时间上最近邻的前后两个I帧或P帧来进行预测的，而它本身并不作为任何其它帧的参考图像，因此在传输中丢弃B帧并不影响其它帧的质量，而仅仅降低帧率。
图2所示的是时域可分级编码示意图。时域可分级编码的基本层码流经过解码重构后可以得到较低帧率的视频序列。如果用户希望更流畅的视觉效果，可以除解码基本层外还应解码增强层，这样可以得到更高帧率的视频序列。
2.3 质量可分级编码
质量可分级性定义为具有可变的彩色模式精度的视频序列的表示。它是通过对视频图像不断的采用越来越精细的量化步长来实现的。因为不同的量化精度导致的重建图像具有不同的PSNR值，所以这类的可分级性通常称为质量（SNR）可分级性。
图3是一个具有N层质量可分级编码的示意图。在解码端的第一层是基本层，基本层提供了一个低质量的重建图像的版本。然后解码增强层，这样能使得重建图像的质量逐步提高，直到最高质量。基本层是对原始图像或在变换域（如DCT域）使用一个粗糙的量化器编码得到；第一层增强层是对原始图像与基本层重建的图像之间的差值使用比基本层更精细的量化器后编码得到；类似地，后面每一层的增强层都是对原始图像与上一层重建图像之间的差值使用逐渐精细的量化器后编码得到。
解码器是编码器的一个逆过程。首先是分别将基本层和增强层的码流送入不同的解码单元。对于基本层，其解码器与无分级解码器的工作方式完全相同。对于增强层，解码器需要进行增强层码流的可变长解码（VLD）和反量化，并将基本层的DCT系数加到增强层更为精细的DCT系数上。这样，对增强的DCT系数进行反变换后，就能得到质量较好的增强层视频。
2.4 混合可分级编码
质量、空间、时间和频率可分级性都是基本的可分级机制，将他们组合起来的混合可分级，可以达到更细力度的可分级性，满足一定应用的需求。如果将两种基本可分级性结合，这样就会产生3层，他们分别是基本层，增强层-1，和增强层-2。这里的增强层-1是增强层-2的底层，在解码端，增强层-2需要得到增强层-1才能解码。
3 小结
本文介绍了视频可分级编码基本模式。它包括空域可分级、时域可分级、质量可分级、频域可分级、混合可分级等。从前面的介绍我们了解到，时域分级，意味着基本层码流具有较低的帧频，而增强层码流具有提高帧频的作用；空域分级，意味着基本层码流是原始视频信号的低分辨率部分，增强层码流则包含提高分辨率所需要的附加信息。
参考文献
[1]沈兰荪，卓力.小波编码与网络视频传输[M].北京：科学出版社，2005年4月.
[2]沈兰荪等.视频编码与低速率传输[M].北京：电子工业出版社，2001.
[3]ISO/IEC IS 13818-2 / ITU-T Rec. H.262， "Generic coding of moving pictures and associated audio， part 2： video"， November 1994.
[4]MPEG-4VerificationModelVM11， Tokyo98.