论文部分内容阅读
多视点视频作为下一代多媒体应用的发展方向,通过提供多个视点的视频数据来满足用户自由选择观察角度的需求,具有立体感和交互操作的功能。多视点视频的数据量通常随着摄像机数目的增加而线性增长,如何有效地对多视点视频进行编码压缩成为制约多视点视频广泛应用的关键问题。虚拟视图合成是实现自由选择视点的关键技术,它以深度图为辅助,利用相邻视点的视频数据得到虚拟视图,深度图的质量很大程度上决定了虚拟视图合成的质量。多视点视频视点间视频数据具有很强的相关性,联合视频组扩展了H.264/AVC视频编码标准来支持多视点视频编码,它采用视差估计的方法消除视点间的冗余。不同视点间存在遮挡和形变区域,这些区域视差估计的方法效率较低。对于深度图,通常采用现有的编码方法进行压缩,然后使用后处理技术处理深度图,以提高虚拟视图合成的质量。本文围绕上述问题展开研究,提出了基于低秩矩阵恢复的视点间预测方法和边缘自适应的深度图后处理方法。论文的工作集中在如下两个方面:第一,针对多视点视频视点间的信息冗余和视点间的遮挡和形变问题,利用低秩矩阵恢复的理论,提出了一种基于低秩矩阵恢复的视点间预测方法。通过相邻视点视频信息和深度图信息,可以得到当前视点的虚拟视图。利用虚拟视图中对应的块作为参考,从参考视图中得到若干个相似块,构造一个低秩矩阵,利用低秩矩阵恢复的方法,去除这些相似块中的噪声信号,得到更加准确的预测值。实验结果表明,基于低秩矩阵恢复的视点间预测方法有效提升了视点间预测的效率。第二,对于深度图的后处理,本文提出了一种边缘自适应的深度图后处理方法。首先利用边缘检测算法得到深度图和对应彩色图的边缘信息,然后通过边缘对齐方法,明确区分深度图中的平滑区域、边缘区域和编码造成的不连续区域。然后使用不同的滤波方法对它们分别处理,在保护深度图原有边缘的前提下,消除由于编码造成的不连续。通过实验表明,该方法有效地改善了编码压缩后的深度图用于虚拟视图合成的主客观质量。