基于视点合成的深度图编码技术研究

来源 :电子科技大学 | 被引量 : 3次 | 上传用户:hdy_123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自由视点视频(Free Viewpoint Video/Televison,FVV/FTV)能够提供具有丰富沉浸感的立体视频,并且允许用户在一定范围内自由选择观看位置,因此,FTV已经成为视频信号处理领域的下一个重要研究方向。为了实现所期望的业务,FTV除了传输传统2D纹理视频外还需要额外传输深度图像来生成虚拟视点。与纹理视频相比,深度图像具有完全不同的性质和用途,如果直接采用传统纹理视频的编码方式对深度图像进行编码会引起合成视点中的较大失真。所以,在保证虚拟视点合成质量的前提下,对深度图像进行高效的编码压缩已经成为当前的研究热点。本文首先对3D视频编解码国际标准平台——HTM中深度图像编码关键技术的使用频率进行了统计,确定了两个主要研究方向:区域直流编码(SDC)和深度建模模式(DMM)。然后,从提高视点合成质量的角度,在SDC和DMM这两个方向上分别探索高效的深度图编解码方案,本文的主要学术贡献如下:1.搭建一个深度图像区域直流编码(SDC)的优化框架第一步,针对SDC中深度查询表引入的映射误差,提出单样本预测法代替原始的四样本预测来降低映射误差,建立一个SDC预测编码优化模型;第二步,为了提升虚拟视点的合成质量,在编码端搜索SDC的最优残差值时,提出一个SDC残差搜索的视点合成优化方案。通过以上两步搭建一个SDC预测编码及残差选择的优化框架,实验证明该优化框架能带来高达0.31%的编码增益(标准研究中有0.10%的增益就可以进行提案)。2.对深度建模模式(DMM)中的DMM1和DMM4模式进行优化处理一方面,DMM1的楔形模板查询表中模板数目众多,占用了较多的缓冲内存。通过分析不同尺寸块查询表的生成流程,提出下采样简化方法,建立一个基于上/下采样的楔形模板查询表简化模型来降低模板数目。实验结果表明,该简化模型能节省27.1%的缓冲内存,且几乎不会带来编码损失。另一方面,考虑到DMM1只适用于具有直线边界的图像块,DMM4只适用于纹理和深度内容高度匹配的图像块。为了弥补DMM1和DMM4模式对边界预测的不足,针对具有非直线边界、且纹理和深度内容不匹配的图像块,提出二阶楔波预测(Second-order Wedgelet Prediction),实验表明该预测能够带来0.05%的编码增益。
其他文献
移动通信迅猛发展,各种无线接入网络层出不穷,不同的无线通信系统在接入方式、覆盖范围、带宽、频率等方面都不尽相同。虽然现有的无线网络形式繁多,但是没有一种单一的无线
天波超视距雷达以其预警距离远、监测范围广、效费比高、抗低空突袭能力突出、反隐身能力强等优点,得到了世界各大强国的重视,被广泛地应用于各类国防军事领域和海况监测、缉
随着无线通信技术的发展,提供移动Internet接入的无线网络正逐步改变人们的生活。以前对WLAN的研究大部分集中于某一层的协议的改进,分析和以仿真为基础的性能研究,主要将精力放
光纤无线通信(Radio-over-Fiber)系统可以将光纤的大容量传输与无线通信的灵活性有机结合在一起,是未来宽带无线接入的理想方式之一,已成为通信领域的研究热点。光毫米波产生
多输入多输出(MIMO)技术充分开发空间资源,利用多个天线实现多发多收,在不增加频谱资源和天线发送功率的情况下,可以成倍地提高信道容量。正交频分复用(OFDM)技术是多载波窄
三维视频是多媒体领域的研究热点。近些年,人们将反映物体与相机距离的深度图引入传统三维视频中,形成了基于深度的三维视频系统。利用虚拟视合成技术,此系统可以生成任意视
为了解决互联网上多媒体信息安全的问题,数字水印技术应运而生并得到了广泛关注,目前已成为国际学术界的一个研究热点。目前,大多数鲁棒图像水印所面临的最大问题就是几何失真,而
可匹配滤波混沌雷达系统的匹配滤波器可由低成本的模拟器件实现,具有广阔的工程应用前景,但是该系统的发射信号不是理想的带限信号,信号在传播过程中易发生频谱泄露和信号畸
低密度奇偶校验码(Low-Density Parity-Check,LDPC)是一种利用非常稀疏矩阵或者二分图定义的线性分组纠错码。LDPC码具有逼近香农限的良好性能,译码复杂度低,具有较低的错误
随着通信技术的飞速发展,第四代移动通信系统必将是通信产业发展的一个里程碑,它能够提供高质量、大带宽、无处不在的实时多媒体业务。光纤无线通信(ROF)技术可以将无线接入