论文部分内容阅读
三维视频(Three-Dimensional,3D)利用人眼观看场景时存在左右视差的特征,通过立体显示设备将现实场景重投影成三维场景,为观者提供具有深度感知的视觉体验效果。多视点彩色加深度(Multi-view Video plus Depth,MVD)是3D视频的主流视频格式,它在减少视频编码传输数据的前提下利用基于深度图的绘制(Depth Image Based Rendering,DIBR)技术实现多视点视频系统。其中,深度视频通过深度相机,计算机模拟3D几何信息和视差估计三种方法获取。然而,深度相机采集的深度视频分辨率低,视差估计的深度视频不准确影响其编码性能。针对这些问题,本文联合人眼视觉系统(Human Visual System,HVS)的感知特征,展开了深度视频重采样和编码技术的研究工作。(1)深度相机可以实时地采集深度视频,但是其采集的视频分辨率比彩色相机采集的视频低。针对这一问题,通过分析深度视频和相应彩色视频的边缘特征,提出一种基于图像边缘特征的深度上采样算法。实验结果表明,所提算法上采样深度图像的平均坏点率2.07%,均方根误差3.46,峰值噪声比(Peak Signal to Noise Ratio,PSNR)38.58dB;绘制虚拟视点的平均PSNR 39.58dB。(2)由于深度估计参考软件(Depth Estimation Reference Software,DERS)估计算法的局限性,导致获取的深度视频不准确,存在较多的空域和时域冗余。考虑到恰可察觉深度失真(Just Noticeable Depth Distortion,JNDD)模型可以描述人眼对深度失真的感知特征,提出一种基于JNDD模型的深度视频预处理算法。实验结果表明,所提算法预处理后的深度视频能够减少其编码比特率6.23%~42.67%。同时,平均提高绘制虚拟视点的PSNR 0.24dB。(3)针对MVD格式的3D视频编码,有研究表示人们可以采用减少深度视频分辨率的方式来提高3D视频的编码性能。通过考虑彩色视频信息对深度视频进行编码前下采样和解码后上采样,提出了一种基于深度视频重采样的3D视频编码算法。实验结果表明,所提算法在保证解码端虚拟视点绘制质量的前提下,减少3D视频压缩的比特率2.80%~12.89%。