大视差虚拟视点内容生成中的空洞修复方法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:liyibo6941
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高质量的3D内容是立体显示技术能够长远持续发展的关键因素。随着3D显示器的分辨率不断提高,视点数逐渐增多,立体显示内容在生成速度、处理算法方面面临新的挑战。受限于3D内容场景复杂、深度信息提取困难,直接通过2D图像生成3D图像的需求很难实现。传统的2D转3D图像需要耗费大量的人力和时间,在2D+D生成立体图像过程中产生的空洞会严重影像观看感受,如何对空洞进行自然真实高效的填充是虚拟视点生成处理的难点。为了提高大视差、超多视点、高分辨率3D内容的处理效率和质量,需要采用新的处理手段和算法,实现空洞内容的自动预测和填充。本文基于深度神经网络,针对大视差虚拟视点内容生成中的空洞的修复方法进行了研究,具体来说,本文的主要创新点和研究内容如下:1.对两种传统空洞修复算法进行了研究,分别是基于块匹配的修复算法、基于示例的修复算法,并完成了优化。在基于块匹配的修复算法中,使用图像金字塔模式生成不同尺度下的空洞填充搜索窗口,能够兼顾全局信息和局部纹理;在基于示例的修复算法中研究了块大小尺度对空洞修复效率和质量的影响,得出最佳块大小尺度。相较于原生传统算法,经过本文优化后的图像修复算法具有稳定性高、修复速度快,能够高效修复大型空洞的优势。2.提出了基于深度学习的大视差空洞修复模型,实现了大视差虚拟视点生成过程中空洞的修复。本文提出的神经网络通过自编码器实现图像整体语义的预测,通过生成对抗网络使生成的空洞填充部分更加清晰真实。在此基础上,本文还创造性地出了风格预测网络,本文认为空洞周围区域的纹理风格和空洞处的纹理风格应该是相近的,因此提取空洞周围的风格,将其融合到空洞填充区域中,这样大大提高了修复的真实程度。相较于当前基于深度学习的主流空洞填充算法,Mean L1 Loss(L1损失函数)和Mean L2 Loss(L2损失函数)分别降低了0.42和0.09,PSNR(峰值信噪比)提升了0.38。3.提出了渐进式大视差空洞图像修复模型,解决了基于深度学习的空洞填充算法只能处理低分辨率图像的问题。论文采用从小到大迭代式的图像生成模式,首先对待填充的高分辨率图像进行一系列降采样,使其降低到一定的分辨率,对该低分辨率图像进行空洞填充,然后经过一系列上采样,依次再进行空洞填充,逐步实现高分辨率图像空洞填充。依据该模型,实现了 1080×1920分辨率图像的空洞填充,平均一张图片耗时0.1s,信噪比为17.9db,优于其他已有模型。
其他文献
[目的]挖掘高祥福教授治疗系统性红斑狼疮(systemic lupus erythematosus,SLE)的选方用药规律.[方法]收集2017年7月1日至2020年6月30日高祥福教授门诊就诊的SLE患者资料,构建方剂数据库,对药物的累计频数、药物类别及性味等进行描述性分析,提取出频数最高的50种药物,并进行系统聚类分析以及关联规则分析.[结果]符合纳入标准的诊次共630次,其中涉及中药181味,使用频数最多的前5项为生地黄、青蒿、丹参、金樱子、芡实.累计用药20大类,清热药、补虚药、活血化瘀药、收涩药
近年来,基于表面等离子体共振(Surface Plasmon Resonance,SPR)的光子晶体光纤(Photonic crystal fiber,PCF)生物传感器引起了很多研究人员的关注。光纤等离子共振生物传感器被广泛用于病原体、毒素、抗体和蛋白质的检测中,在健康诊断、生物医学、生化分析和环境监控等领域发挥重要作用。相比于基于Kretschmann大棱镜的传统表面等离子体共振生物传感器相比