计算机视觉理论、视频采集技术和立体显示技术不断发展,特别是裸眼显示技术在近几年得到迅速发展,使得三维(3 Dimension,3D)视频系统的各项关键技术得到广泛的关注和研究,迅速发展中的3D电视成为新一代视频技术。3D视频带给人们强烈的透视感和沉浸感,,与传统2D视频相比,3D视频包含多个角度二维信息,从而重构出第三维的深度信息,产生立体感。裸眼多视三维系统中,第三维信息的获取,即深度估计,其结果(深度图)通过虚拟视点绘制过程影响3D视频的最终显示效果,并且深度估计的处理性能影响整个视频系统的执行性能,因此深度估计成为三维系统中的一项关键技术。多视视频显示系统在融合多个视点图像过程中,不可避免的造成图像显示分辨率上的损失,因此高清分辨率对于保证立体显示质量尤为重要。基于深度的立体视频系统,包括视频采集、预处理(校正、深度估计等)、编解码、传输、显示等环节。深度估计往往设置在预处理部分,在发送端进行高复杂处理,减轻了接收端的任务处理量;系统中若同时传输不同视角的多视图像会带来巨大的数据量,而深度图的使用,通过基于深度图像的绘制方式产生多个视点,因此降低了系统数据量,提高了编解码效率,节省了传输带宽。深度图的应用为系统实现提供了条件,而深度估计过程,其算法复杂、处理耗时长、准确性存在缺陷、高清晰度处理导致大运算量,因此深度估计是三维视频系统中的技术难点。本文针对三维视频中的深度估计等关键技术做了深入研究,并采用基于FPGA(Field-Programmable Gate Array,现场可编程门阵列)的高性能并行处理实现实时硬件系统,主要贡献及创新点包括以下四个方面:1.基于融合算法的深度估计针对现有深度估计算法复杂度较高,单一匹配算法具有局限性,会引入不同的深度估计错误,而导致深度图准确度问题,如物体边缘的错误,纹理缺少区域,以及图像噪声引入的错误,本文提出一种基于算法融合策略的复合深度估计方法。利用Census变换的匹配方法,增强对物体边缘信息的保留;利用SAD(Sum of absolutedifferences,绝对差和)对亮度敏感的特性增强纹理丰富部分的深度估计。融合算法在关键部分形成对深度估计性能互补性增强,并采用交叉多边形累加方式优化匹配代价值,利用多种后处理方法优化深度值。融合策略思想可以有效减少由单一算法所引起的错误,提高准确性,有利于并行处理的硬件实现,且对匹配算法仅增加少些复杂度就提高了深度估计质量。2.基于深度特征的边缘保持插值方法根据深度图包含大片平滑区域和尖锐物体边缘的特征,针对多视立体视频显示的分辨率损失问题,以及对高清分辨率需求,提出一种参数自适应双边滤波插值方法。该深度图插值方法将高清纹理图的信息引入到深度图的上采样过程中,优化了参数设置,实现高质量、高清晰度深度图上采样。采用的基于双边滤波的方法有助于尖锐边缘的保持,有利于虚拟视点绘制,保证立体显示质量。所提方法为高清晰度实时系统的数据处理提供了有意义的参考解决方案。3.基于fpga的实时高清深度估计系统针对深度估计的实时性要求及高清电视的需求,提出了深度估计系统的实时实施解决方案。采用当前先进(功耗低、处理能力强)的fpga器件和高级硬件语言和编译工具,设计精细流水线结构,进行数据块的并行处理,设计异步fifo(firstinputfirstoutput,先入先出队列)等结构处理跨时钟域同步问题,实现深度估计的复杂优化算法。系统实现在保证深度图估计准确性同时,使之具有125fps处理速度、240像素的视差搜寻范围内和可处理全高清(1920×1080)图像的能力。并且该深度估计还可以作为独立硬件模块进行嵌入式或asic(applicationspecificintegratedcircuits,专用集成电路)专用芯片的设计。4.基于实时深度估计的实景高清立体视频系统及深度估计系统的其它方面应用立体视频系统的实时性受到各关键部分性能的制约,是系统面临的主要问题之一。在实时深度估计基础上,针对包括编码、绘制等视频系统的各个环节的实时性要求,提出了基于实时深度估计、快速编码和并行处理的绘制方法的系统设计,从而实现裸眼显示的高清快速立体视频系统,对于不同分辨率的高清系统整体的运行速率可达到每秒22帧或25帧以上。实时深度估计模块还可以作为独立模块应用于嵌入式设计中。