论文部分内容阅读
随着三维成像产品在新兴市场上的开拓,三维视频已成为近年来研究的活跃领域。相比于现有的二维产品,三维视频是能够提供更加逼真和身临其境的感性体验的关键所在。在三维视频的众多应用中,三维电视(Three-dimensional television,3DTV)被认为会引领下一代的电视革命。立体显示是3DTV目前的主流技术,而自动立体显示则是其中一种具有广阔应用前景的解决方案,它需要更多的研究工作以解决其中的技术困难。多视点视频(Multi-view video, MVV)技术可以满足众多用户同时观看电视的需求,因而它会在未来得到更多的关注和发展。在多视点视频中,视点数量的多少决定了观看质量的高低,但是,现实情况中摄像机成本的限制使得人们无法同时获得足够多的视点,而虚拟视点的合成可以达到此目的。基于深度的图像绘制(Depth-image-based rendering, DIBR)是一种基于参考视点图像和相关的深度信息来绘制目标视点图像的方法。它由于具有较好的编码效率、2D/3D选择性、用户交互性等优点,近些年来备受关注。目前已经有一些基于DIBR的虚拟视点合成方法,然而,在DIBR中仍存在一些问题,如重叠问题、重采样问题、空洞问题等,这些问题需要得到有效的解决,才能得到高质量的虚拟视点。针对DIBR中存在的问题,本文重点研究了多视点视频中虚拟视点的合成技术,提出了两种不同的方法来改进DIBR,分别是基丁DIBR的任意视点合成方法和可用于深度摄像机的彩色图像生成方法:(1)提出了一种通过利用两个相邻参考视点的图像和相应的深度图来生成任意视点并提高虚拟视点图像质量的方法。该方法的主要特点是没有直接对深度图进行预处理,而是采取了一种折中的方式来扬长避短。与之前方法中采用的复杂的补洞算法或耗时巨大的图像修复技术相比,该方法仅采用一些基本的基于像素点的操作来填补虚拟视点图像中的暴露区域。本文提出了一种利用深度信息的水平、垂直和对角外推法来填充图像中的细小空洞。为避免伪影问题的产生,对空洞图中的空洞边缘进行形态学扩展。在进行图像互补和图像融合之后,得到主虚拟视图,然后把执行深度图处理再进行各步操作之后得到的虚拟视点图像当作副虚拟视图对主虚拟视图进行剩余空洞的填充,从而得到最终的虚拟视点图像。(2)提出了一种利用一个参考视点的图像和相应的深度图来绘制以深度摄像机为目标视点的虚拟彩色图像的方法。该方法没有在对参考视点进行三维图像变换之前进行深度图预处理,因为这样会对虚拟视图造成几何畸变。本文提出了一种计算像素点权值的方法,在图像映射的过程中,通过该方法,拥有最大权值的点即为分像素点周围最近的前景点,即选择该点来代替分像素点。然后采用水平、垂直和对角外推法来对图像进行小洞填充,接下来利用虚拟视点的深度图来判断在同一行中空洞边缘附近的像素点是否属于背景点,然后利用选择的背景像素点来填充该行的空洞。最后再对图像进行滤波,便可得到最终的虚拟视点彩色图。实验结果与分析表明本文所提出的这两种方法在主观质量和客观评价两方面都可以取得令人满意的结果。