论文部分内容阅读
随着三维立体技术的发展,三维立体技术的应用将会覆盖国家科技发展和我们日常生活的方方面面,具有重要的研究意义。深度信息是三维立体技术应用和发展的基础。因此,高质量的深度信息是三维立体技术能够提供舒适的体验,从而可以得到更加广泛应用和快速发展的重要保障。然而,现有的深度相机由于硬件条件的限制,获取的深度图分辨率较低,在应用时无法很好的与对应的高分辨率彩色图结合,获得高质量的虚拟三维场景。因此,深度图的超分辨率重建研究在三维立体技术的发展中具有重要的意义。本文利用低分辨率深度图和对应的高分辨率彩色图之间的关联信息,基于深度学习的方法,对深度图超分辨率重建进行了研究。1)提出了一种基于边缘增强全引导的深度图超分辨率重建算法。考虑到低分辨率深度图和高分辨率彩色图之间的关联性,设计了一种具有两路分支的卷积神经网络结构。两路分支分别对低分辨率深度图和高分辨率彩色图进行特征提取。在两个分支对应级别的网络层之间,利用从高分辨率彩色图中提取的特征对低分辨率深度图的上采样进行充分的引导。特征在卷积神经网络中融合以后,最终恢复重建出高分辨率深度图。此外,考虑到高分辨率彩色图中包含较多冗余的信息,提出了一种边缘增强方法,加快了网络训练时的收敛速度,提高了深度重建的质量。实验结果表明,所提出的方法能够出色地完成深度图超分辨率任务,获得边缘锐利清晰的重建结果。2)提出了一种基于结构注意力引导卷积神经域的深度图超分辨率重建算法。通过设计两路具有强表达能力的卷积神经网络结构,分别从低分辨率深度图和高分辨率彩色图中提取特征。同时,在提出的卷积神经网络结构中引入了条件随机场,将注意力机制模型集成到条件随机场中,使得模型能够在卷积神经域中关注于深度图的纹理结构。两路分支的特征在卷积神经网络中通过互相的引导并且融合,从而得到最终的重建结果。实验结果表明,该方法能够重建出包含准确纹理细节的高分辨率深度图。