论文部分内容阅读
摘要：目前，由ITU/ISO/IEC组成的3D视频编码联合合作组（JCT-3V）一直致力于对基于高性能视频编码（HEVC）的3D视频编码进行改进。在3D视频和自由视点视频系统应用中，基于深度的绘制DIBR技术利用深度图的几何信息去绘制虚拟视点，具有兼容性好、交互性好和便于压缩等特点。基于此，本文主要对面向虚拟视质量的3D视频编码进行分析探讨。
关键词：面向虚拟视质量；3D视频；编码研究
1、前言
三维视频通过恢复二维视频中丢失的三维景深，为用户提供更加真实和自然的视觉体验。深度增强型3DV由彩色视频和其对应的深度图组成；基于深度图像的绘制技术利用深度信息合成高质量的虚拟视点，具有数据量小、准确性高、灵活性强等特点，发展适于深度增强格式的新技术和标准是3D视频领域的研究热点。
2、面向虚拟视点合成的深度编码
2.1边缘检测
为了分割深度图中的匀质区域与锐边缘区域，本文引入边缘检测算子对深度图进行边缘检测分割。常用的边缘检测算子有Roberts、Sobel、Prewit、Laplacian以及Canny等。其中，Laplacian算子为二阶微分算子，具有各向同性，即滤波器的响应与输入图像的突变方向无关，实现简单，边缘提取效果良好，常用于图像的预处理。Canny算子是一个具有滤波、增强、检测的多阶段优化算子，因此其获取的边缘效果更好，但是运算量也远大于Laplacian等其他算子。
深度图与普通图像相比边缘锐利，有丰富的匀质区域，较易于通过边缘检测算法提取深度边缘。在本文中，边缘检测的结果只作为深度图编码模式选择的参考，对边缘检测的质量要求不高。因此我们选用简单易行、效果良好的Laplacian算子，以达到快速边缘检测的目的。用Laplacian算子对深度图边缘检测，我们提取其中的边缘区域，用于深度图编码的快速模式选择。
2.2深度图编码的快速模式选择
深度图中纹理单一，相比于纹理视频较为平坦。深度图中像素点的灰度值表示场景中对应物点到相机的距离。因此在纹理图中的低纹理区域在深度图中总是呈现平坦的，而在物体的边缘区域，深度图中则呈现比纹理图中更加锐利的跳变。由锐边缘包围大块平坦区域组成的深度图，由于深度编码导致的深度边缘区域的失真，会在绘制虚拟视中造成极易察觉的扭曲和赝像；而在平坦区域，由深度编码导致的深度失真对虚拟绘制视的影响较小。因此锐边缘区域的深度失真比平坦区域的失真对虚拟绘制视质量的影响大得多。本文通过边缘检测以保护锐边缘区域，避免由错误的模式选择导致的深度失真。
在视频编码中，平滑区域多是由大块的预测模式或SKIP模式进行编码。类似地，在深度图编码中，平坦区域多是由SKIP模式、帧内16×16模式、帧间16×16模式等大块模式组成，小块的模式所占比例极小。平坦区域的编码失真对绘制虚拟视失真影响甚小，而锐边缘区域，轻微的深度失真即可对绘制虚拟视造成显著的影响。因此本文利用边缘检测算法提取对绘制失真敏感的锐边缘区域，对深度图中的平坦区域和边缘区域使用不同的搜索策略，以避免错误的编码模式选择造成深度失真。
本文提出的深度图快速编码模式选择方法如图1所示。
对输入的宏块（MB），首先判定是否采用SKIP模式，若不是，则可能是所有帧内和帧间模式的一种。接着对非SKIP模式的MB进行Laplacian边缘检测，由边缘值大小判定该MB属于边缘区域还是平坦区域。对边缘区域采用全搜索策略，选择最优的编码模式以保证边缘的质量；对平坦区域仅搜索帧内模式和帧间16×16模式。在深度编码中由于存在大片的匀质区域，因此SKIP模式所占比例极高，本文只对非SKIP模式的MB进行边缘检测，从而省去了对SKIP模式MB进行边缘检测的时间。此外，本文在进行MB类型判定时，不采用对MB中所有像素点的边缘值求平均的方法，而只需检测到累积边缘值大于门限值、能判定该MB为边缘区域时就停止检测，进一步节省了计算时间。本文的边缘检测策略对于临近边缘的区域，即使边缘点在MB中所占比例甚小也不会被遗漏，达到了重点保护边缘区域的目的。
用上述方法选择的编码模式不一定是最优的，但下文的实验证明平坦区域轻微的失真对绘制虚拟视的质量几乎不造成影响，而编码速度则有了显著的提高。
3、实验结果与分析
本文以MPEG组织提供的深度估计参考软件DERS5.1和虚拟视图合成参考软件VSRS3.5为实验平台，将本文提出的深度编码方法与利用原X264深度编码的方法进行实验比较，对所提出的算法作性能评估。边缘检测门限值Th的大小决定了被划分到平坦区域的宏块数量。若门限值过大，则被划分为平坦区域的范围过大而会引起临近边缘区域的宏块的失真；若门限值过小，则被划分为平坦区域的范围减小，编码速度也减慢。为了平衡编码速度与绘制视的质量，本文通过多次实验将门限值Th设为50。经过边缘检测后的深度图，在门限设为50时，由红色标识的区域被判为边缘区域，其他区域被判为平坦区域。
表1列出了Newspaper测试序列未压缩、原始X264压缩和本文提出的方法进行压缩所得到的客观质量，本文算法在不同量化（Qp）值下的加速性能如图6所示。与X264的算法相比，本文算法的編码速度是X264的2.06-2.29倍，而绘制视的峰值信噪比（PSNR）与结构相似性指数（SSIM）值基本不变。PSNR变化范围在-0.032dB～+0.064dB之间。编码码率的变化也很微小，变化百分比范围在+2.568%～-0.060%之间。以上表明，本文提出的面向虚拟视绘制的快速深度编码算法可大幅提高深度图的压缩速率，而对深度编码的码率及合成视质量的影响极微。
4、结语
为了降低视频编码复杂度且不影响虚拟视点合成质量的前提下，本文提出了基于最大可容忍深度失真的深度图快速编码算法。由于深度视频序列纹理单一、边缘锐利、特征点较少；而平坦区域一般选择较小的深度值，因此在不影响绘制质量的前提下，可以跳过一些较大的深度值。为了进一步降低编码复杂度，在边缘检测时竖直方向上的边缘区域是重点检测对象，并根据不同的策略来进行模式决策。结
参考文献：
[1]Muller K，Schwarz H，Marpe D，et al.. 3D high -efficiencyvideo coding for multi -view video and depth data [J].IEEETransactions on Image Processing，2013，22（9）：3366-3378
关键词：面向虚拟视质量；3D视频；编码研究
1、前言
三维视频通过恢复二维视频中丢失的三维景深，为用户提供更加真实和自然的视觉体验。深度增强型3DV由彩色视频和其对应的深度图组成；基于深度图像的绘制技术利用深度信息合成高质量的虚拟视点，具有数据量小、准确性高、灵活性强等特点，发展适于深度增强格式的新技术和标准是3D视频领域的研究热点。
2、面向虚拟视点合成的深度编码
2.1边缘检测
为了分割深度图中的匀质区域与锐边缘区域，本文引入边缘检测算子对深度图进行边缘检测分割。常用的边缘检测算子有Roberts、Sobel、Prewit、Laplacian以及Canny等。其中，Laplacian算子为二阶微分算子，具有各向同性，即滤波器的响应与输入图像的突变方向无关，实现简单，边缘提取效果良好，常用于图像的预处理。Canny算子是一个具有滤波、增强、检测的多阶段优化算子，因此其获取的边缘效果更好，但是运算量也远大于Laplacian等其他算子。
深度图与普通图像相比边缘锐利，有丰富的匀质区域，较易于通过边缘检测算法提取深度边缘。在本文中，边缘检测的结果只作为深度图编码模式选择的参考，对边缘检测的质量要求不高。因此我们选用简单易行、效果良好的Laplacian算子，以达到快速边缘检测的目的。用Laplacian算子对深度图边缘检测，我们提取其中的边缘区域，用于深度图编码的快速模式选择。
2.2深度图编码的快速模式选择
深度图中纹理单一，相比于纹理视频较为平坦。深度图中像素点的灰度值表示场景中对应物点到相机的距离。因此在纹理图中的低纹理区域在深度图中总是呈现平坦的，而在物体的边缘区域，深度图中则呈现比纹理图中更加锐利的跳变。由锐边缘包围大块平坦区域组成的深度图，由于深度编码导致的深度边缘区域的失真，会在绘制虚拟视中造成极易察觉的扭曲和赝像；而在平坦区域，由深度编码导致的深度失真对虚拟绘制视的影响较小。因此锐边缘区域的深度失真比平坦区域的失真对虚拟绘制视质量的影响大得多。本文通过边缘检测以保护锐边缘区域，避免由错误的模式选择导致的深度失真。
在视频编码中，平滑区域多是由大块的预测模式或SKIP模式进行编码。类似地，在深度图编码中，平坦区域多是由SKIP模式、帧内16×16模式、帧间16×16模式等大块模式组成，小块的模式所占比例极小。平坦区域的编码失真对绘制虚拟视失真影响甚小，而锐边缘区域，轻微的深度失真即可对绘制虚拟视造成显著的影响。因此本文利用边缘检测算法提取对绘制失真敏感的锐边缘区域，对深度图中的平坦区域和边缘区域使用不同的搜索策略，以避免错误的编码模式选择造成深度失真。
本文提出的深度图快速编码模式选择方法如图1所示。
对输入的宏块（MB），首先判定是否采用SKIP模式，若不是，则可能是所有帧内和帧间模式的一种。接着对非SKIP模式的MB进行Laplacian边缘检测，由边缘值大小判定该MB属于边缘区域还是平坦区域。对边缘区域采用全搜索策略，选择最优的编码模式以保证边缘的质量；对平坦区域仅搜索帧内模式和帧间16×16模式。在深度编码中由于存在大片的匀质区域，因此SKIP模式所占比例极高，本文只对非SKIP模式的MB进行边缘检测，从而省去了对SKIP模式MB进行边缘检测的时间。此外，本文在进行MB类型判定时，不采用对MB中所有像素点的边缘值求平均的方法，而只需检测到累积边缘值大于门限值、能判定该MB为边缘区域时就停止检测，进一步节省了计算时间。本文的边缘检测策略对于临近边缘的区域，即使边缘点在MB中所占比例甚小也不会被遗漏，达到了重点保护边缘区域的目的。
用上述方法选择的编码模式不一定是最优的，但下文的实验证明平坦区域轻微的失真对绘制虚拟视的质量几乎不造成影响，而编码速度则有了显著的提高。
3、实验结果与分析
本文以MPEG组织提供的深度估计参考软件DERS5.1和虚拟视图合成参考软件VSRS3.5为实验平台，将本文提出的深度编码方法与利用原X264深度编码的方法进行实验比较，对所提出的算法作性能评估。边缘检测门限值Th的大小决定了被划分到平坦区域的宏块数量。若门限值过大，则被划分为平坦区域的范围过大而会引起临近边缘区域的宏块的失真；若门限值过小，则被划分为平坦区域的范围减小，编码速度也减慢。为了平衡编码速度与绘制视的质量，本文通过多次实验将门限值Th设为50。经过边缘检测后的深度图，在门限设为50时，由红色标识的区域被判为边缘区域，其他区域被判为平坦区域。
表1列出了Newspaper测试序列未压缩、原始X264压缩和本文提出的方法进行压缩所得到的客观质量，本文算法在不同量化（Qp）值下的加速性能如图6所示。与X264的算法相比，本文算法的編码速度是X264的2.06-2.29倍，而绘制视的峰值信噪比（PSNR）与结构相似性指数（SSIM）值基本不变。PSNR变化范围在-0.032dB～+0.064dB之间。编码码率的变化也很微小，变化百分比范围在+2.568%～-0.060%之间。以上表明，本文提出的面向虚拟视绘制的快速深度编码算法可大幅提高深度图的压缩速率，而对深度编码的码率及合成视质量的影响极微。
4、结语
为了降低视频编码复杂度且不影响虚拟视点合成质量的前提下，本文提出了基于最大可容忍深度失真的深度图快速编码算法。由于深度视频序列纹理单一、边缘锐利、特征点较少；而平坦区域一般选择较小的深度值，因此在不影响绘制质量的前提下，可以跳过一些较大的深度值。为了进一步降低编码复杂度，在边缘检测时竖直方向上的边缘区域是重点检测对象，并根据不同的策略来进行模式决策。结
参考文献：
[1]Muller K，Schwarz H，Marpe D，et al.. 3D high -efficiencyvideo coding for multi -view video and depth data [J].IEEETransactions on Image Processing，2013，22（9）：3366-3378