三维电视中虚拟视点合成的技术研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:jpy_2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着三维成像产品在新兴市场上的开拓,三维视频已成为近年来研究的活跃领域。相比于现有的二维产品,三维视频是能够提供更加逼真和身临其境的感性体验的关键所在。在三维视频的众多应用中,三维电视(Three-dimensional television,3DTV)被认为会引领下一代的电视革命。立体显示是3DTV目前的主流技术,而自动立体显示则是其中一种具有广阔应用前景的解决方案,它需要更多的研究工作以解决其中的技术困难。多视点视频(Multi-view video, MVV)技术可以满足众多用户同时观看电视的需求,因而它会在未来得到更多的关注和发展。在多视点视频中,视点数量的多少决定了观看质量的高低,但是,现实情况中摄像机成本的限制使得人们无法同时获得足够多的视点,而虚拟视点的合成可以达到此目的。基于深度的图像绘制(Depth-image-based rendering, DIBR)是一种基于参考视点图像和相关的深度信息来绘制目标视点图像的方法。它由于具有较好的编码效率、2D/3D选择性、用户交互性等优点,近些年来备受关注。目前已经有一些基于DIBR的虚拟视点合成方法,然而,在DIBR中仍存在一些问题,如重叠问题、重采样问题、空洞问题等,这些问题需要得到有效的解决,才能得到高质量的虚拟视点。针对DIBR中存在的问题,本文重点研究了多视点视频中虚拟视点的合成技术,提出了两种不同的方法来改进DIBR,分别是基丁DIBR的任意视点合成方法和可用于深度摄像机的彩色图像生成方法:(1)提出了一种通过利用两个相邻参考视点的图像和相应的深度图来生成任意视点并提高虚拟视点图像质量的方法。该方法的主要特点是没有直接对深度图进行预处理,而是采取了一种折中的方式来扬长避短。与之前方法中采用的复杂的补洞算法或耗时巨大的图像修复技术相比,该方法仅采用一些基本的基于像素点的操作来填补虚拟视点图像中的暴露区域。本文提出了一种利用深度信息的水平、垂直和对角外推法来填充图像中的细小空洞。为避免伪影问题的产生,对空洞图中的空洞边缘进行形态学扩展。在进行图像互补和图像融合之后,得到主虚拟视图,然后把执行深度图处理再进行各步操作之后得到的虚拟视点图像当作副虚拟视图对主虚拟视图进行剩余空洞的填充,从而得到最终的虚拟视点图像。(2)提出了一种利用一个参考视点的图像和相应的深度图来绘制以深度摄像机为目标视点的虚拟彩色图像的方法。该方法没有在对参考视点进行三维图像变换之前进行深度图预处理,因为这样会对虚拟视图造成几何畸变。本文提出了一种计算像素点权值的方法,在图像映射的过程中,通过该方法,拥有最大权值的点即为分像素点周围最近的前景点,即选择该点来代替分像素点。然后采用水平、垂直和对角外推法来对图像进行小洞填充,接下来利用虚拟视点的深度图来判断在同一行中空洞边缘附近的像素点是否属于背景点,然后利用选择的背景像素点来填充该行的空洞。最后再对图像进行滤波,便可得到最终的虚拟视点彩色图。实验结果与分析表明本文所提出的这两种方法在主观质量和客观评价两方面都可以取得令人满意的结果。
其他文献
编者按对于中国电信拆分,在方案出台前就经过了近一年的不休争论,对其利弊仁者见仁、智者见智.现方案终于出台,但拆分对未来电信业发展产生的影响还需进一步观察.到底这项改
在存储测试系统的某些应用场合中,测试的数据为军事或者商业机密,这给传统存储测试系统直接记录明文数据带来挑战,因此迫切需要将测试数据加密后存储。自2002年美国国家标准技术
近年来,网络接入设备成本降低、接入技术多样化,使利用多网络接口实现数据的并行多路传输成为可能,特别是应急通信、视频会议、多方游戏等高带宽需求的业务,促进了并行多路传输的
面孔表情是日常生活中一种重要的非语言交流方式,它蕴含着诸多情绪信息,在社会交往活动中扮演着至关重要的角色。本文使用事件相关电位(event-related potentials,ERPs)技术,
连续相位调制(CPM)是一类包络恒定、相位连续变化的高性能的非线性数字调制体制。由于包络恒定,CPM对信号幅度变化不敏感,所以尤其适合于采用高效非线性放大器的通信系统;同时它
现代雷达经常需要发射宽带甚至超宽带信号,而奈奎斯特(Nyquist)采样定理的限制使得大带宽信号的采样很难实现。基于信号稀疏性的压缩采样(CompressiveSampling,简称CS)理论能够
全球各地目前使用很多种相似的文种。近年来,数字文件处理在办公和图书馆自动化、银行和邮政业务、出版社和通信管理等领域的应用中日益普及。对于能够搜索多语言信息的书面
随着物联网技术的不断发展和导航定位需求的快速增加,室内定位已成为全球定位系统在室内环境的重要补充,也是目标全程跟踪定位的瓶颈。由于室内传输环境的复杂性和干扰源的多样
近年来,全球移动通信正朝着分组化、低延时、服务差异化方向发展,为此3GPP组织提出了长期演进和系统架构演进两大研究计划。在演进的分组系统中,EPS会话管理子层将真正让用户体
在无线通信系统中,多输入多输出(MIMO:Multiple Input-Multiple Output)技术是对抗多径衰落的有效途径,并且能够提供更高的传输速率以及较好的通信质量。但是受到体积、功率等因