论文部分内容阅读
随着3D电影的大量普及,越来越多的人开始了解和接受各种基于3D的应用,而这也进一步促进了3D技术的不断发展和进步,许多3D应用如无人驾驶、虚拟现实等也随之获得了极大地发展。和传统2D应用相比,3D应用最大的特点是引入了深度信息,并结合彩色信息,为用户呈现出完整立体的场景,进而给予用户更为真实的立体体验。其中,深度信息反映了场景中物体与采集相机之间的距离信息,该距离信息通常以灰度图的形式加以存储,并被称为深度图。相对彩色图而言,深度图具有更加平滑和稀疏的特性,并通常不直接供人观看而是转化为距离信息,进而结合彩色信息加以显示。特别的,深度图边缘往往反映了实际场景中的间断信息,基于此原因,实际应用对深度边缘准确程度的要求通常远高于彩色图。除此之外,由于硬件条件和采集原理的限制,现在深度图通常存在分辨率低的问题,基于此,通过软件后处理的方式,实现深度图分辨率的提升是非常必要的。另一方面,深度图的引入在提升3D感观质量的同时,会引起数据量增加,在网络带宽有限的传输环境中,如何选择性传输深度图的采样点,保证接收端深度图的质量,是一个亟需解决的问题。针对上述问题,本文的主要研究内容如下: 首先,本文对基于单深度图上采样的方法进行了研究。由于硬件水平和采集原理的限制,现有深度采集设备获取的深度图分辨率往往较低,不能够满足实际应用需求。同时,研究表明,深度图中的边缘模糊会导致合成视点中出现锯齿效应。针对上述问题,本文首先对深度图特性进行研究,并提出深度图的局部平面近似假设。随后,本文进一步提出了一种基于局部平面近似假设的单深度图上采样方法。该方法通过局部平面近似估计出待插值像素的候选深度,并利用梯度轮廓先验估计出引导梯度场,约束候选深度的组合,最后,通过求解上述最优化问题得到高分辨率深度图。上采样实验验证了局部平面近似假设的合理性,同时,该实验结果还表明,本文提出的基于深度图局部平面近似假设的上采样方法能有效的恢复高分辨率深度图,并能有效的保留深度图的边缘信息。 其次,本文对彩色图辅助的深度图上采样方法进行了研究。彩色图辅助的深度图上采样方法通过引入高分辨率彩色图像作为辅助,利用彩色图边缘和深度图边缘通常在物体边界同时出现的特性,来提高上采样深度图的质量。在彩色图边缘和深度图边缘不一致的区域,该类方法容易出现纹理拷贝效应和边缘模糊效应。针对此问题,本文提出了一种彩色图辅助的空域自适应正则化深度图上采样算法。针对深度图上采样中保留锐利边缘的需求,本文首先提出使用引导张量全变分正则化以实现保留边缘的深度图上采样。对引导张量全变分正则化的推导和分析表明,该正则化能够保留和对齐边缘,但会在平滑区域引入阶梯效应。基于此原因,本文进一步引入Tikhonov正则化项以约束平滑区域的深度恢复,从而有效抑制阶梯效应。针对上采样过程中彩色图边缘和深度图边缘不一致造成边缘模糊效应与纹理拷贝效应的问题,本文对深度图边缘和彩色图边缘依据不同共生情况分别加以分析融合,得到融合边缘图来描述场景的间断信息,并引导张量全变分正则化进而加以避免。最后,本文使用空域自适应权重的组合方式,对深度图不同区域的边缘和平滑特性分别加以保持。由于该自适应张量全变分-Tikhonov模型凸但不可导,针对该问题,本文使用一阶原始对偶算法加以求解。实验结果表明,本文提出的算法有效地恢复高质量的高分辨率深度图,和其他同类主流上采样方法相比,该方法恢复的深度图边缘准确程度得到明显提升,坏点率也更低。 最后,本文研究了在给定采样点个数的情况下,深度图有效采样点确定的问题。深度图的引入导致数据量增加,而现有带宽资源通常是有限的,如何设计合理的策略选取传输的深度采样点,进而充分利用有限带宽资源,同时保障接收端的质量,是一个极具挑战的问题。针对该问题,本文提出了一种结合深度特性和人眼视觉特性的非均匀深度图下采样方法。深度图边缘是深度图中主要特征,因此需要优先针对深度图边缘采样。人眼视觉特性指出,显著性区域在人眼感知时具有更高的优先级,因此该区域的深度信息的重要程度比非显著性区域更高。综合上述两个特性,本文首先融合深度图边缘信息和显著性信息生成融合显著图,该图描述深度图不同区域在采样时的不同重要程度,随后使用多级采样策略实现采样点的合理分配。实验结果证明,本文提出的方法能够有效地指导给定采样点个数下的采样点选取,在同等采样率下,该采样方法对应解码端恢复出的深度图质量与均匀随机采样和均匀网格采样相比,有明显提升。 本文对深度图上下采样技术进行了深入研究。文中关于深度图上采样的研究工作可以进一步用于深度图增强,进而提高3D应用的质量;关于深度图下采样的研究工作能够用于有效的深度采集和深度压缩等。总体说来,本文的研究工作能够应用于各种基于深度图的3D应用,为各种应用的质量提升提供新的思路和解决方法。