论文部分内容阅读
对比2D视频,自由视点立体视频对应着急剧增长的视频数据量。随着立体显示技术的发展,高分辨率、互动性必将成为主流趋势,日益迫切的应用需求刺激着立体视频技术的不断发展的同时,带来了激增的数据量。例如,针对720P的视频格式,在25帧／秒的帧率条件下视频才能达到满足人眼视觉感受的连续性,以2D混合视频编码标准独立压缩一路视频将产生约2700kb/s(约1800MB/小时)的数据量计算,对于包含两路视频的双目立体视频来说,则产生3600MB/小时的数据量,依次类推,多视点的立体视频将带来前所未有的传输与存储压力。为了有效地解决立体视频数据量急剧增长带来的传输与存储问题,人们已将如何提高立体视频编码效率作为主流研究方向。MPEG提出的针对多视点彩色视频加深度视频格式的编码方法,从规范的角度专注于FVV(Free View Video, FVV)和3DTV系统,包含表达、生成、处理、编码和MVD(Multi-view Video plus Depth, MVD)数据的绘制。在自由视点电视应用中,多视点彩色加深度的形式大幅减少了需要编码传输的视点数目,在解码端借助基于深度的虚拟视点绘制技术推导出目标视点的虚拟视频,同样也能为用户提供良好的3D视觉感受；既有效地节省了传输带宽,又增强了与用户的互动性。在MVD编码系统中,立体视频视觉编码是进一步提升彩色视频编码效率的有效方法。而为了保持深度视频编码标准的后向兼容性,在混合编码框架基础上进行深度视频环路滤波,以及对虚拟视点中拍摄盲点造成的彩色图像空洞进行修复均为研究热点。其中,深度图像提供了三维场景几何信息,被用于辅助绘制虚拟视点视频。如何解决这三个研究热点中的科学关键问题为本文的研究内容。本文在国家自然科学基金面上项目“面向安防监控的双目立体视频关注度分析及编码技术研究”(No.61271256)和微软创新计划项目“基于Contourlet变换和图像结构信息的JND模型”(No.FY09-RES-OPP-013)的资助下从立体视频的双目感知机理出发,分析双目感知机理以及关注度对掩蔽效应的影响,研究基于立体视频恰可感知失真阈值的残差滤波方法,提高立体视频编码效率。在国家白科基金青年项目“基于纹理建模的预测编码技术研究”(No.61003184)、国家自科基金面上项目“基于反向纹理合成的视频编码技术研究”(No.60970160)的资助下对深度编码中的噪声生成原理,与基于反向纹理合成算法的图像修复技术进行了研究。具体地,本文将研究立体视频视觉编码技术、基于深度图像的虚拟视点绘制技术、基于虚拟视点绘制的图像修复技术研究等,通过去除视觉冗余、减少编码视点数节省编码码率,提升立体视频编码的效率,在同等码率条件下,提供高质量的自由视点立体视频显示。本文的主要贡献与创新点如下：(1)基于深度对比度的立体JND建模针对目前的立体视频JND模型均停留在传统2D视频感知生理及心理特性的层面,忽略了掩蔽效应受双眼间的视觉特性同时影响这一现象,本文从立体感知机理的角度出发,提出了融入立体视频深度对比度因素的立体视频感知JND模型,并利用该模型来指导残差滤波,从而进一步去除了人眼视觉冗余,提高了立体视频的编码效率(2)基于彩色图像相关特征的深度图滤波算法目前联合彩色图像的深度图滤波方法,未准确描述彩色图像与深度图像之间的特征差异性与关联性,大量纹理细节干扰了深度图像中的非纹理区域滤波系数的准确性,造成了深度图的边缘模糊及锯齿效应。针对该问题,本文从深度图中对象内部平坦而边缘尖锐的独特特征出发,提出基于局部二进制模式(Local Binary Pattern, LBP)的纹理图像边缘特征描述模型,在深度图的边缘区域,利用纹理描述子的分类能力仅将周围像素中与中心像素属于同一对象的深度像素作为滤波输入,提高深度图的滤波质量。(3)基于深度图像相关特征的合成虚拟视点图像空洞修复算法目前联合深度图像的纹理图像空洞修复技术,过度依赖深度作为内容连续性的约束信息而忽视了纹理信息自身细节相似性,导致复杂场景下的纹理图像修补结果模糊与块效应；同时将非空洞块简单地平移至空洞区进行修复,无法描述彩色图像中的非刚性运动,造成修复内容与邻近非空洞内容之间不连续,产生严重的人工效应。为此,本文将彩色图像的空洞修复问题转化为反向纹理合成问题,建立融合场景深度信息与纹理细节的纹理合成能量模型,将纹理细节特征图及包含几何信息的深度图作为新的约束引导纹理合成,并对结果进行融合推导空洞块的内容,从而增强修复内容与邻近内容的纹理一致性,提高虚拟视点图像质量。综上所述,本文通过考虑立体视频中的深度掩蔽效应等因素来计算立体视频的恰可感知失真(Just Noticeable Distortion, JND)阈值,并基于3D JND模型进行立体视频编码残差滤波,降低与人眼视觉感知无关的码率；根据深度图像与彩色图像之间的结构相似性,对深度视频的解码图像中普遍存在的严重噪声进行去噪,研究基于深度图像相关信息的虚拟视点彩色图像空洞修复技术,提高了自由视点立体视频的编码效率、以及自由视点视频中虚拟视点的视频质量,在立体视频显示中,极大地提高了用户的视觉感受。