论文部分内容阅读
高质量的3D内容是立体显示技术能够长远持续发展的关键因素。随着3D显示器的分辨率不断提高,视点数逐渐增多,立体显示内容在生成速度、处理算法方面面临新的挑战。受限于3D内容场景复杂、深度信息提取困难,直接通过2D图像生成3D图像的需求很难实现。传统的2D转3D图像需要耗费大量的人力和时间,在2D+D生成立体图像过程中产生的空洞会严重影像观看感受,如何对空洞进行自然真实高效的填充是虚拟视点生成处理的难点。为了提高大视差、超多视点、高分辨率3D内容的处理效率和质量,需要采用新的处理手段和算法,实现空洞内容的自动预测和填充。本文基于深度神经网络,针对大视差虚拟视点内容生成中的空洞的修复方法进行了研究,具体来说,本文的主要创新点和研究内容如下:1.对两种传统空洞修复算法进行了研究,分别是基于块匹配的修复算法、基于示例的修复算法,并完成了优化。在基于块匹配的修复算法中,使用图像金字塔模式生成不同尺度下的空洞填充搜索窗口,能够兼顾全局信息和局部纹理;在基于示例的修复算法中研究了块大小尺度对空洞修复效率和质量的影响,得出最佳块大小尺度。相较于原生传统算法,经过本文优化后的图像修复算法具有稳定性高、修复速度快,能够高效修复大型空洞的优势。2.提出了基于深度学习的大视差空洞修复模型,实现了大视差虚拟视点生成过程中空洞的修复。本文提出的神经网络通过自编码器实现图像整体语义的预测,通过生成对抗网络使生成的空洞填充部分更加清晰真实。在此基础上,本文还创造性地出了风格预测网络,本文认为空洞周围区域的纹理风格和空洞处的纹理风格应该是相近的,因此提取空洞周围的风格,将其融合到空洞填充区域中,这样大大提高了修复的真实程度。相较于当前基于深度学习的主流空洞填充算法,Mean L1 Loss(L1损失函数)和Mean L2 Loss(L2损失函数)分别降低了0.42和0.09,PSNR(峰值信噪比)提升了0.38。3.提出了渐进式大视差空洞图像修复模型,解决了基于深度学习的空洞填充算法只能处理低分辨率图像的问题。论文采用从小到大迭代式的图像生成模式,首先对待填充的高分辨率图像进行一系列降采样,使其降低到一定的分辨率,对该低分辨率图像进行空洞填充,然后经过一系列上采样,依次再进行空洞填充,逐步实现高分辨率图像空洞填充。依据该模型,实现了 1080×1920分辨率图像的空洞填充,平均一张图片耗时0.1s,信噪比为17.9db,优于其他已有模型。