论文部分内容阅读
随着处理器能力的增强与三维显示技术的逐渐成熟,多视点视频的应用将越来越广泛。不同于传统二维视频,多视点三维视频可以让观看者从各种不同角度观看视频内容,使其有更真实与身临其境的现场感觉。由于源端的相机数是有限的,因此由用户视点和视向决定的任意视点的生成是多视点视频应用的关键问题之一,称为视点的稠密化或绘制技术。
近几年发展起来的基于图像的绘制技术已经引起人们的极大兴趣,并成为计算机图形学和虚拟现实领域的研究热点。从图像真实感和绘制速度而言,图像绘制技术具有传统基于几何模型绘制技术无法比拟的优势。基于深度图像的绘制(DIBR)技术是一种引入图像深度信息的图像绘制方法。目前MPEG/JVT拟采用“二维视频+深度”的3D视频表示方法,不需要传输多个视点视频,而是通过在解码端利用基于深度图像的绘制技术(DIBR),实时生成一个或者多个虚拟视点的3D场景,产生三维视觉效果并满足一定范围的视点选择的交互性。本文对DIBR的一些关键技术进行了研究,主要工作以及创新成果如下:
深度获取是DIBR技术的前提与基础。本文首先讨论了深度获取技术,重点研究基于立体视觉的深度获取。立体匹配是基于立体视觉获取深度的关键,在总结现有立体匹配算法的基础上提出了一种基于颜色分割的多目立体匹配获取深度图像的方法。首先对所有输入图像进行图像规正,消除因图像噪声、光照条件、遮挡等因素造成对应点在不同视点图像上的颜色差异。利用mean-shift算法,根据颜色信息分割参考图像,提取图像中的颜色一致性区域:然后通过局部窗口匹配算法进行多目立体匹配,得到多幅初始视差图;再根据融合准则将多幅视差图合成为一幅视差图以提高视差图的精度,并对视差图进行优化后处理;最后根据视差与深度的关系,将视差图转化为深度图。实验结果表明,该方法能获得准确且稠密的深度。
利用上述得到的深度图像,对基于深度图像的虚拟视点绘制技术进行了研究,提出一种平行摄像机配置下虚拟立体图像对的绘制方法。该方法首先利用一种非对称的高斯滤波来平滑深度图以减少虚拟视点图像中空洞的产生,然后利用3D图像变换(3D Image Warping)方程生成虚拟立体图像对,并用插值的方法处理空洞。该算法实现简单,能快速绘制质量良好的虚拟视点图像。
最后探讨了汇聚摄像机配置或其它一般摄像机配置下虚拟视点图像的绘制,针对由于场景物体间复杂遮挡关系导致的大空洞问题,本文提出一种基于图像融合与逆映射的虚拟视点图像绘制方法。该方法从多幅参考图像来合成虚拟视点目标图像,利用多幅参考图像提供的像素信息,通过图像融合与逆映射,较好地解决了虚拟视点绘制过程中的空洞问题,同时采用遮挡兼容算法解决了绘制过程中的可见性问题。实验结果表明,在给定摄像机参数的条件下能生成较高质量的任意虚拟视点图像。