自由视点三维视频系统关键技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:huangpei999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自由视点三维显示技术的发展,新一代的自由视点三维视频得到了越来越广泛的关注。国际标准组织MPEG已经率先开始了针对自由视点内容的新一代自由视点三维视频技术的研究工作。最新的裸眼三维显示设备能同时呈现成百个视点,这些视点的排列密集,呈现场景的视角大,还能使观看者通过在屏幕前走动进行平滑的视点切换,提供了极好的裸眼三维视频体验。用于这类裸眼三维显示设备显示的三维视频内容称为自由视点三维视频。由于自由视点三维视频呈现的场景的视角范围大,所以大多采用的是弧形排列的摄像机采集得到,而传统的三维视频大多是一维平行排布的摄像机采集得到。自由视点三维视频中的一类是超多视点三维视频,不同于传统的三维视频内容的视点数大多是小于20个视点,而超多视点三维视频内容要多于100个视点。如果同时存储或者传输成百个视点的自由视点内容,对存储和传输带宽都是极大的挑战,所以还有一类自由视点三维视频是自由巡航式的三维视频,这类三维视频的特点是个数少(<10),视点间隔大,通过利用虚拟视点绘制方法绘制出成百个虚拟视点来通过裸眼的三维显示设备进行呈现。由于自由视点内容相比于传统的三维视频在视点数量以及视点排列方式发生了很大的变化,对自由视点三维视频系统的各个环节的研究成为了新一代三维视频技术研究新课题。本文主要研究自由视点三维视频系统中的自由视点三维视频的表达,自由视点内容的高效压缩以及自由视点内容的呈现这三个主要的环节。自由视点三维视频的表达中,本文主要研究重点是自由视点三维视频的紧凑表示,本文通过实验揭示了基于多视点纹理加深度(MVD)格式表达的自由视点三维视频,在特定的码率条件下,可以通过对编码视点数和虚拟视点合成数的折中,减少自由视点三维视频的表达视点数,达到对自由视点三维视频内容的紧凑表示的目的。自由视点内容的高效压缩环节中,本文主要研究的是面向自由视点内容的视点间预测技术,其中包括任意摄像机排布的视差矢量导出技术和任意摄像机排布的视点间运动矢量预测技术。本文对任意摄像机排布下视点间运动信息关系模型进行了构建,从而提出了一套高效的视点间运动信息预测方案。这套视点间运动信息预测方案相比于3D-HEVC中视点间运动信息预测方案,为非一维平行排布时的序列提供了更为准确的视点间对应关系,从而能在压缩任意摄像机排布的自由视点内容时达到较高的视点间预测效率。该方案中的任意摄像机排布的视差矢量导出技术和任意摄像机排布的视点间运动矢量预测技术都能提供较大的编码性能增益,其中任意摄像机排布的视差矢量导出方案有约4.88%的性能增益,任意摄像机排布的运动矢量预测有约7.16%的性能增益,两项技术的总体性能增益达到了平均8.77%。任意摄像机排布的视差矢量导出技术和视点间运动矢量预测技术作为三维视频编码技术中基本的纹理图像编码技术,为后面研究更加复杂高效的任意摄像机排布的多重预测技术奠定了基础。自由视点内容的呈现环节中,本文的主要研究内容是面向自由巡航应用的自由视点内容呈现,包括提出了将超多视点内容与自由巡航应用结合的自由巡航式呈现方式,提出了一套利用球面线性插值对虚拟摄像机的朝向进行插值以及利用样条插值方法对虚拟摄像机的位置进行插值的自由巡航路径规划方案。本文通过主观实验发现,对虚拟摄像机朝向进行球面线性插值后带来的巡航呈现的主观视觉感受要好于让虚拟摄像机朝向不连续变化时的巡航体验。总的来说,本文的研究工作围绕自由视点三维视频系统的各个环节开展,在自由视点三维视频系统的表达,压缩和呈现三个方面开展了分析和研究,研究工作形成了一套较为完善的自由视点三维视频系统中关键环节的实现方案。
其他文献
在三维摄像、虚拟现实等应用领域,常常涉及高分辨率三维图像的实时显示,其复杂性往往会超出目前计算机图形学系统的实时绘制能力,如何在实时系统中显示高分辨率三维图像,已成为计
现实世界中的网络具有规模巨大、结构复杂的特点,它们由各种实体以及实体间错综复杂的关系构成,其存在形式既可以是有形的(输电网络、交通网络、神经网络),也可以是无形的(万维网、
学位
GPRS作为发展比较成熟的无线传输技术,广泛应用于军事,工业,商业、科研等领域。基于GPRS的通用数据传输平台,是一种便携式嵌入式系统,能够作为远程监控、静态图像传输、环境
随着成像传感器技术的飞速发展,人们可获取的图像信息呈现爆炸式的增长,然而由于成像原理的不同以及技术条件的限制,任何一幅单一的图像数据都不可能全面地反映目标对象的特性。
学位
在MIMO-OFDM系统中,基于码本的有限反馈预编码技术和接收端接收合并技术可以有效地提高系统容量并降低中断概率。在发送端未知信道状态信息的情况下,接收端要对信道信息进行量