面向3D场景的深度图上/下采样方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:whtdongwht
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着3D电影的大量普及,越来越多的人开始了解和接受各种基于3D的应用,而这也进一步促进了3D技术的不断发展和进步,许多3D应用如无人驾驶、虚拟现实等也随之获得了极大地发展。和传统2D应用相比,3D应用最大的特点是引入了深度信息,并结合彩色信息,为用户呈现出完整立体的场景,进而给予用户更为真实的立体体验。其中,深度信息反映了场景中物体与采集相机之间的距离信息,该距离信息通常以灰度图的形式加以存储,并被称为深度图。相对彩色图而言,深度图具有更加平滑和稀疏的特性,并通常不直接供人观看而是转化为距离信息,进而结合彩色信息加以显示。特别的,深度图边缘往往反映了实际场景中的间断信息,基于此原因,实际应用对深度边缘准确程度的要求通常远高于彩色图。除此之外,由于硬件条件和采集原理的限制,现在深度图通常存在分辨率低的问题,基于此,通过软件后处理的方式,实现深度图分辨率的提升是非常必要的。另一方面,深度图的引入在提升3D感观质量的同时,会引起数据量增加,在网络带宽有限的传输环境中,如何选择性传输深度图的采样点,保证接收端深度图的质量,是一个亟需解决的问题。针对上述问题,本文的主要研究内容如下:  首先,本文对基于单深度图上采样的方法进行了研究。由于硬件水平和采集原理的限制,现有深度采集设备获取的深度图分辨率往往较低,不能够满足实际应用需求。同时,研究表明,深度图中的边缘模糊会导致合成视点中出现锯齿效应。针对上述问题,本文首先对深度图特性进行研究,并提出深度图的局部平面近似假设。随后,本文进一步提出了一种基于局部平面近似假设的单深度图上采样方法。该方法通过局部平面近似估计出待插值像素的候选深度,并利用梯度轮廓先验估计出引导梯度场,约束候选深度的组合,最后,通过求解上述最优化问题得到高分辨率深度图。上采样实验验证了局部平面近似假设的合理性,同时,该实验结果还表明,本文提出的基于深度图局部平面近似假设的上采样方法能有效的恢复高分辨率深度图,并能有效的保留深度图的边缘信息。  其次,本文对彩色图辅助的深度图上采样方法进行了研究。彩色图辅助的深度图上采样方法通过引入高分辨率彩色图像作为辅助,利用彩色图边缘和深度图边缘通常在物体边界同时出现的特性,来提高上采样深度图的质量。在彩色图边缘和深度图边缘不一致的区域,该类方法容易出现纹理拷贝效应和边缘模糊效应。针对此问题,本文提出了一种彩色图辅助的空域自适应正则化深度图上采样算法。针对深度图上采样中保留锐利边缘的需求,本文首先提出使用引导张量全变分正则化以实现保留边缘的深度图上采样。对引导张量全变分正则化的推导和分析表明,该正则化能够保留和对齐边缘,但会在平滑区域引入阶梯效应。基于此原因,本文进一步引入Tikhonov正则化项以约束平滑区域的深度恢复,从而有效抑制阶梯效应。针对上采样过程中彩色图边缘和深度图边缘不一致造成边缘模糊效应与纹理拷贝效应的问题,本文对深度图边缘和彩色图边缘依据不同共生情况分别加以分析融合,得到融合边缘图来描述场景的间断信息,并引导张量全变分正则化进而加以避免。最后,本文使用空域自适应权重的组合方式,对深度图不同区域的边缘和平滑特性分别加以保持。由于该自适应张量全变分-Tikhonov模型凸但不可导,针对该问题,本文使用一阶原始对偶算法加以求解。实验结果表明,本文提出的算法有效地恢复高质量的高分辨率深度图,和其他同类主流上采样方法相比,该方法恢复的深度图边缘准确程度得到明显提升,坏点率也更低。  最后,本文研究了在给定采样点个数的情况下,深度图有效采样点确定的问题。深度图的引入导致数据量增加,而现有带宽资源通常是有限的,如何设计合理的策略选取传输的深度采样点,进而充分利用有限带宽资源,同时保障接收端的质量,是一个极具挑战的问题。针对该问题,本文提出了一种结合深度特性和人眼视觉特性的非均匀深度图下采样方法。深度图边缘是深度图中主要特征,因此需要优先针对深度图边缘采样。人眼视觉特性指出,显著性区域在人眼感知时具有更高的优先级,因此该区域的深度信息的重要程度比非显著性区域更高。综合上述两个特性,本文首先融合深度图边缘信息和显著性信息生成融合显著图,该图描述深度图不同区域在采样时的不同重要程度,随后使用多级采样策略实现采样点的合理分配。实验结果证明,本文提出的方法能够有效地指导给定采样点个数下的采样点选取,在同等采样率下,该采样方法对应解码端恢复出的深度图质量与均匀随机采样和均匀网格采样相比,有明显提升。  本文对深度图上下采样技术进行了深入研究。文中关于深度图上采样的研究工作可以进一步用于深度图增强,进而提高3D应用的质量;关于深度图下采样的研究工作能够用于有效的深度采集和深度压缩等。总体说来,本文的研究工作能够应用于各种基于深度图的3D应用,为各种应用的质量提升提供新的思路和解决方法。
其他文献
本论文深入研究分析了当前IP网在网络保护恢复方面使用的技术以及存在的问题,结合IP网和光网络最新研究成果和发展方向,设计提出了一种基于ASON的IP网络多层保护恢复策略,对
随着计算机与信息技术的不断发展,生物特征识别技术的研究受到了广泛的关注和探讨。由于每个人的指纹具有唯一性,终身不变,因此指纹识别是代替传统身份识别手段的最安全、最
近年来以计算机和网络为基础的信息产业获得了空前的发展,对信息的存储技术提出了更高的要求,其主要表现在:海量数据的存储容量;存储系统的可靠性;对不同数据存储类型的适应性;数据
日本广播卫星系统将会对同一频段的第三代移动通信系统产生干扰,尤其作为地理上的邻国,我国地面移动通信系统IMT-2000可能会受到较大的威胁.为了客观深入地了解和掌握日本广
本论文的工作主要包括以下几个方面:1、人工免疫系统与计算机免疫技术简介.论文首先给出了人工免疫系统的定义,对人工免疫系统的研究起源与内容进行了简要的总结,介绍了其目
来波方向(Direction of Arrival, DOA)估计作为阵列信号处理的重要内容之一,己被广泛应用于雷达、通信、声纳、地震勘探、射电天文以及生物医学工程等众多军事及国名经济领域