论文部分内容阅读
随着多媒体技术的快速发展,视频技术正向着数字化、网络化、高清晰度、立体化的方向发展。与2D视频显示相比,立体视频可以增加景物的深度信息,增强视觉上的现实感、逼真感和沉浸感,与人的视觉更加匹配。与单通道2D视频相比,立体视频的数据量和处理复杂度成倍增加,立体视频的编码和传输技术研究也因此受到国内外研究机构和学者的广泛关注。 国内外很多学者提出了各种立体视频编码方案,其中较为典型的是基于联合多视点视频编码(JMVC,Joint Multiview Video Coding)的分层B帧编码方案(HBP,Hierarchical B Pictures)。与其他的立体视频编码方案相比,基于JMVC标准的立体视频编码方案能获得最好的编码性能,但同时其编码复杂度是单视点视频编码的数倍,要使其走向实用化首先要解决的就是编码复杂度高的问题。为此,本文开展了基于JMVC的立体视频编码优化与应用研究。本文主要研究内容包括: 1、提出了一种基于JMVC标准的立体视频编码模式快速选择算法。该算法根据最佳编码模式的分布特征,对JMVC候选模式进行重排序,优先对最常选用的模式进行阈值判定,根据判定结果决定是否再进行其他模式的遍历搜索,以尽量避免对计算复杂度较高的小尺寸候选模式的遍历,在尽可能保证立体视频质量的前提下,实现对JMVC立体视频编码模式的优化选择。实验结果表明,和JMVM的全模式搜索相比,本文提出的快速模式选择算法在保持良好率失真性能的同时,可以将计算复杂度降低75~85%。 2、提出了一种基于JMVC标准的立体视频编码运动和视差估计联合优化算法。首先从运动和视差估计过程的计算复杂度出发,确立了分别从运动/视差估计流程和视差搜索两方面进行优化的方案。然后分别提出了对运动/视差估计流程的优化和视差搜索优化算法,再将两者结合起来,得到了一种运动和视差估计的联合优化算法。实验结果表明,和JMVM的全模式搜索相比,本文提出的运动和视差估计联合优化算法在保持良好的率失真性能的同时,可以将计算复杂度降低64~70%。 3、设计并实现了一种基于单用户驱动的交互式立体视频流传输系统。该系统通过对人脸进行检测和追踪,在任意时刻只为用户提供最匹配的视点数据,极大地降低了对网络带宽资源的需求。为了给用户提供高质量立体效果以及平滑的码流切换能力,系统对各视点视频采用H.264编码器单独进行编码。系统实际测试结果表明,在现有的网络带宽条件下,该系统能为用户提供自主选择观看视角的交互能力,并保证用户总能以最佳的角度观看立体视频。