论文部分内容阅读
摘要:本文主要介绍新一代高效率视频编码HEVC的新特点,以及与H.264/AVC相比技术上的改进,对其做了总体评价,并指明了其应用范围和前景。
关键词:HEVC;H.264/AVC;编码单元;帧内预测;滤波;量化
1 HEVC编码技术的改进
1.1更灵活高效的图像分割模式
为了更高效、更灵活的表示各种分辨率视频的内容,HEVC采用基于三个单元模式的表示方式,即编码单元(coding unit -CU)、预测单元(prediction unit -PU)和变换单元(transform unit -TU)。三个单元都采用树状分块模式[5]。
(1)编码单元(coding unit-CU)
编码单元是进行帧内/帧间预测前区域分割,其形状为方形的基本编码单位。CU与H.264/AVC中宏块与子宏块的作用相似,都是用来进行图像区域分割,表示图像。但由于CU采用树状分割模式,用递归方式分割成四个大小相等的块,这样CU就比H.264/AVC中的宏块有更多的分块方式。最终,形成由CU组成的图像内容自适应编码树结构,可以更加准确的表示图像内容。
(2)预测单元(prediction unit-PU)
当CU完成分割,会为CU树状结构中叶节点处的CU指定预测模式,预测模式的基本单元即预测单元(prediction unit-PU)。所有和预测相关的信息如帧内预测方向;帧间预测运动矢量、参考帧序号;运动矢量预测和运动补偿都存放在一个PU里。
(3)变换单元(transform unit-TU)
除了定義CU和PU,针对变换和量化也单独定义了变换单元(transform unit-TU)。这里需要注意的是,与传统编码标准不同,TU的尺寸可能会大于相对应的PU,但不能超过相对应的CU。
(4)CU、PU和TU三者间的关系
首先,根据图像特点采用一定大小的CU通过CU分割标识符分割成一系列子CU以精确的表示图像。而后对于每一个不再分割的子CU,定义一个PU以确认用什么模式预测,针对Skip、帧内和帧间三种预测模式,PU同样通过PU分割标识符,根据先前确定的CU,采用灵活的分割方式,进行较为精确的预测。
上述提出的新的编码结构与H.264/AVC相比,运用更大的块来表示图像,对更大的块进行变换,以提高对如分割次数格式这样高分辨率视频的编码效率。
1.2 帧内预测
HEVC中采用多方向帧内预测方法[6]。所谓多方向帧内预测是在已有的H.264/AVC帧内预测模式基础上,增加更多方向的预测模式。之所以可以增加更多方向预测模式,是因为之前提到HEVC采用更加灵活的单元模式来表示不同特征的图像。对于每个预测单元其可用预测模式的个数根据预测单元的大小来决定。
1.3 帧间预测
HEVC针对高分辨率视频,采用基于DCT的差值滤波器(DCT-IF)[7]。该滤波器具有以下特性。第一,滤波器能够通过整数位置已重建像素直接通过差值准确的计算出任何分数位置像素。第二,由于滤波器采用无级联方式,这样不仅简化了运动补偿过程,同时也降低了四分之一像素计算复杂度。第三、滤波器对于更精确分数位置像素,如八分之一、十二分之一等采用与半像素及四分之一像素统一的滤波方式,具有较好的扩展性。
1.4 量化
出于码率控制的目的,HEVC中量化延续了H.264/AVC中的差分量化技术。即根据宏块扫描顺序,当前宏块QP值减去前一宏块QP值。
由于HEVC采用更大尺寸(64X64)和更多分割方式的编码单元来表示图像,且采用图4-1所示顺序扫描编码单元,与传统编码标准宏块扫描顺序比较,若按照上述方法计算dQP,会产生较多的差值,不利于码率控制
1.5 去方块滤波
HEVC中提出了新的滤波方式,假设P和Q是相邻两编码单元,BS为滤波强度,MV为运动矢量。HEVC更加全面的考虑了各种帧内编码情况对去块效应的影响,其中边缘方向是否与预测方向相同时区别真假边界的重要方法。
2 结论
与H.264相比,HEVC有不少新的技术亮点,保证了其拥有更高的编码效率和更强的网络适应性。尤其适用于高清、3D以及移动无线视频等领域的应用[1]。但是,它在部分技术上的改进是以增加编解的复杂度为代价。随着硬件水平的发展,复杂度增加的负面效应可以被逐渐的减小,直至忽略不计。
参考文献
[1] Wiegand T,Ohm J,Sullivan G,Han W,Joshi R,Tan T,Ugur K.Special Section on the Joint Call for Proposals on High Efficiency Video Coding (HEVC) Standardization[J].IEEE Trans on Circuits and Systems for Video Technology, 2010,20(12):1661.
[2] https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/
[3] K. McCann, S. Sekiguci, B. Bross, W.-J. Han. Working Draft 4 of High-Efficiency Video Coding. 6th. JCT-VC Meeting, Torino, Italy, 2011, JCTVC-F803.
[4] T. Wiegand, G. Sullivan, G. Bjotegaard, and A. Luthra.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits Syst. Video Technol. July 2003, vol.13, pp.560-576
[5] Han W J,Min J,Kim I K,Alshina E.Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools[J].IEEE Trans on Circuits and Systems for Video Technology, 2010,20(7):1709.
[6] M.Ken,Han W J,K.Kim. Samsung’s Response to the Call for Proposals on Video Compression Technology. 1th. JCT-VC Meeting, Dresden, GER, 2010, JCTVC-A124.
[7] E. Alshina, J.L. Chen, A. Alshin, N.Shlyakhov. Experimental results of 4 taps/5 bits Chroma DCTIF in HM2.0. 5th. JCT-VC Meeting, Geneva, Switz, 2011, JCTVC-E426.
关键词:HEVC;H.264/AVC;编码单元;帧内预测;滤波;量化
1 HEVC编码技术的改进
1.1更灵活高效的图像分割模式
为了更高效、更灵活的表示各种分辨率视频的内容,HEVC采用基于三个单元模式的表示方式,即编码单元(coding unit -CU)、预测单元(prediction unit -PU)和变换单元(transform unit -TU)。三个单元都采用树状分块模式[5]。
(1)编码单元(coding unit-CU)
编码单元是进行帧内/帧间预测前区域分割,其形状为方形的基本编码单位。CU与H.264/AVC中宏块与子宏块的作用相似,都是用来进行图像区域分割,表示图像。但由于CU采用树状分割模式,用递归方式分割成四个大小相等的块,这样CU就比H.264/AVC中的宏块有更多的分块方式。最终,形成由CU组成的图像内容自适应编码树结构,可以更加准确的表示图像内容。
(2)预测单元(prediction unit-PU)
当CU完成分割,会为CU树状结构中叶节点处的CU指定预测模式,预测模式的基本单元即预测单元(prediction unit-PU)。所有和预测相关的信息如帧内预测方向;帧间预测运动矢量、参考帧序号;运动矢量预测和运动补偿都存放在一个PU里。
(3)变换单元(transform unit-TU)
除了定義CU和PU,针对变换和量化也单独定义了变换单元(transform unit-TU)。这里需要注意的是,与传统编码标准不同,TU的尺寸可能会大于相对应的PU,但不能超过相对应的CU。
(4)CU、PU和TU三者间的关系
首先,根据图像特点采用一定大小的CU通过CU分割标识符分割成一系列子CU以精确的表示图像。而后对于每一个不再分割的子CU,定义一个PU以确认用什么模式预测,针对Skip、帧内和帧间三种预测模式,PU同样通过PU分割标识符,根据先前确定的CU,采用灵活的分割方式,进行较为精确的预测。
上述提出的新的编码结构与H.264/AVC相比,运用更大的块来表示图像,对更大的块进行变换,以提高对如分割次数格式这样高分辨率视频的编码效率。
1.2 帧内预测
HEVC中采用多方向帧内预测方法[6]。所谓多方向帧内预测是在已有的H.264/AVC帧内预测模式基础上,增加更多方向的预测模式。之所以可以增加更多方向预测模式,是因为之前提到HEVC采用更加灵活的单元模式来表示不同特征的图像。对于每个预测单元其可用预测模式的个数根据预测单元的大小来决定。
1.3 帧间预测
HEVC针对高分辨率视频,采用基于DCT的差值滤波器(DCT-IF)[7]。该滤波器具有以下特性。第一,滤波器能够通过整数位置已重建像素直接通过差值准确的计算出任何分数位置像素。第二,由于滤波器采用无级联方式,这样不仅简化了运动补偿过程,同时也降低了四分之一像素计算复杂度。第三、滤波器对于更精确分数位置像素,如八分之一、十二分之一等采用与半像素及四分之一像素统一的滤波方式,具有较好的扩展性。
1.4 量化
出于码率控制的目的,HEVC中量化延续了H.264/AVC中的差分量化技术。即根据宏块扫描顺序,当前宏块QP值减去前一宏块QP值。
由于HEVC采用更大尺寸(64X64)和更多分割方式的编码单元来表示图像,且采用图4-1所示顺序扫描编码单元,与传统编码标准宏块扫描顺序比较,若按照上述方法计算dQP,会产生较多的差值,不利于码率控制
1.5 去方块滤波
HEVC中提出了新的滤波方式,假设P和Q是相邻两编码单元,BS为滤波强度,MV为运动矢量。HEVC更加全面的考虑了各种帧内编码情况对去块效应的影响,其中边缘方向是否与预测方向相同时区别真假边界的重要方法。
2 结论
与H.264相比,HEVC有不少新的技术亮点,保证了其拥有更高的编码效率和更强的网络适应性。尤其适用于高清、3D以及移动无线视频等领域的应用[1]。但是,它在部分技术上的改进是以增加编解的复杂度为代价。随着硬件水平的发展,复杂度增加的负面效应可以被逐渐的减小,直至忽略不计。
参考文献
[1] Wiegand T,Ohm J,Sullivan G,Han W,Joshi R,Tan T,Ugur K.Special Section on the Joint Call for Proposals on High Efficiency Video Coding (HEVC) Standardization[J].IEEE Trans on Circuits and Systems for Video Technology, 2010,20(12):1661.
[2] https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/
[3] K. McCann, S. Sekiguci, B. Bross, W.-J. Han. Working Draft 4 of High-Efficiency Video Coding. 6th. JCT-VC Meeting, Torino, Italy, 2011, JCTVC-F803.
[4] T. Wiegand, G. Sullivan, G. Bjotegaard, and A. Luthra.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits Syst. Video Technol. July 2003, vol.13, pp.560-576
[5] Han W J,Min J,Kim I K,Alshina E.Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools[J].IEEE Trans on Circuits and Systems for Video Technology, 2010,20(7):1709.
[6] M.Ken,Han W J,K.Kim. Samsung’s Response to the Call for Proposals on Video Compression Technology. 1th. JCT-VC Meeting, Dresden, GER, 2010, JCTVC-A124.
[7] E. Alshina, J.L. Chen, A. Alshin, N.Shlyakhov. Experimental results of 4 taps/5 bits Chroma DCTIF in HM2.0. 5th. JCT-VC Meeting, Geneva, Switz, 2011, JCTVC-E426.