论文部分内容阅读
目前主流的3D立体显示技术采用基于双视点图像的的平面立体呈现手段,左右视图中引入的水平视差带来了观看者对于场景深度的体验。然而,随之出现的3D内容观看者的视觉疲劳与舒适性下降的现象也引发了广泛关注,并且正成为阻碍3D节目推广的重要因素。总的来看,影响3D视觉舒适性的因素分为两类:一类是在3D节目拍摄过程中由于环境、硬件因素或人为操作不当引入的误差,包括垂直视差、左右眼视图时域不同步等;另一类源于3D显示技术与人眼视觉机理本身的固有矛盾,如过度视差值导致的人眼辐辏-焦距调节矛盾的加剧、边框效应导致的双目视像融合困难等。针对各类3D视觉舒适性影响因素,设计行之有效的3D节目舒适性制作方案,是当前3D电视应用的重要工作。本文首先提出3D节目舒适性提升整体框架,并以Adobe After Effects视频非线性编辑软件的滤镜插件形式进行实现,以完成3D舒适性制作的一系列预处理工作。插件通过极线校正去除垂直视差,通过右视图帧时域平移调整左右视图同步性,通过左右视图的平移和缩放来实现视差调整和取景窗口的个性化设置,可通过关键帧设置的方式实现多帧调整参数的平滑过渡,并兼容逐行扫描格式和4K分辨率视频。在此基础上,为了对3D节目关键帧的深度调整参数提供指导,乃至最终实现自动化调整,本文进一步研究基于3D图片舒适性评价模型的3D视觉舒适性提升算法。首先,本文建立多显著区域3D图片舒适性评价算法。在3D图片舒适性的影响因素方面,已有一定数量的研究成果,但考虑多显著区域空间特征与视差跳变特征的舒适性预测模型还很少被提及。而在试验中我们发现,考虑到人眼观看多显著区域时的视线轨迹和人眼辐辏调节的特点,这些特征与观看者舒适性体验具有内在的联系,本文由此展开研究。具体而言,本文基于3D图片显著区域,提出显著区域视差分布特征、显著区域间视差跳变特征、显著区域周边视差跳变特征、显著区域空间分布特征与显著区域宽度特征等五类显著区域相关视觉特征。同时,为了有针对性地探究上述特征与视觉舒适性的关系,本文建立多刺激立体图片库MSID,并基于该图片库开展主观舒适性评价实验。最后,本文基于支持向量回归SVR算法构建视觉舒适性预测模型。结果表明,本文所述各类特征较传统全局视差分布特征而言,在舒适性模型构建效果上能够实现增益。最后,本文提出基于舒适性评价模型的3D图片舒适性提升方法。总体来说,该方法包含两个步骤:3D视觉舒适性模型训练,和基于舒适性模型的视差调整。在3D视觉舒适性模型训练方面,本文在上述基于多显著区域分析的3D图片舒适性评价算法基础上,筛选有效特征加入模型。对于3D图片感兴趣区域的提取,本文采用基于深度图分割的前景区域提取方式,结合2D图片显著区域提取结果,得到3D图片的感兴趣区域。而在视差调整方面,本文采用图片平移这一最基本和最普遍的做法,通过对平移量的一维搜索来寻找模型的局部最优解,从而确定平移量。与此同时,搜索范围被施加特定的限制,以避免过度视差值引发视觉辐辏-焦距调节冲突(A-C Conflict)的加剧,以及图片边界附近交叉视差引发深度线索冲突(Depth-cue Conflict)的加剧。为追求客观性和普适性,模型的训练和视差的自动调整均基于IVY LAB 3D图像库这一包含丰富场景的公开图像库来进行。最后,本文开展主观测评实验,对调整前后的图片进行成对比较。实验结果表明,该方法达到的3D图片舒适性提升效果满足预期。