论文部分内容阅读
近年来,立体影像内容的产出和消费体量迎来了爆发式增长。目前主流的3D立体显示技术通过将双视点采集的存在视差的图片投影于左右眼的方式给观影者带来深度感知。然而,由于和真实3D感知的差异,3D影像也导致了观影者产生一系列的不舒适和疲惫,包括:头痛、眩晕、紧张、流泪、眼涩等。因此,与主观体验相符合的3D图像质量评价方法显得尤为重要。由于观影时左右视点图像被展示在固定的平面与真实的3D感知不同,左右视点的视差导致了人眼不同程度的辐凑-调节矛盾。另一方面,人眼视觉系统具有选择注意机制,基于图像显著性的质量评价模型也成为了近些年的研究热点。如何根据双目视觉差异提取相关特征以及如何将图像显著性用于构建立体图像质量评价模型是本文的主要研究内容。为度量双目视觉差异,本文研究了一种可用于3D图像质量评价的块视差特征,并采用超像素分割构建了与之相关的立体图像质量评价模型。块视差表征辐凑在屏幕时左右视图相同位置区域的差异性,其生理基础是感受野机理和双目视觉。实际计算中,基于分块方式、分块尺度和差异度量方法,我们给出多种策略。文中模型基于像素相似性对左右图进行超像素分块,分别通过直方图绝对差值和直方图K-L距离两种方法计算左右图差异得到块视差图,最终将块视差图相关统计特征作为输入,构建SVR回归预测模型。实验结果表明,本文所述块视差质量评价方法能够对人眼视觉系统较好建模,表现效果良好;超像素分割分块策略的质量评价模型评价效果优于矩形分割分块策略的质量评价模型。为了探究图像显著性对于块视差质量评价方法的影响,本文设计了基于块视差图的3D块显著图提取方法,提出了一种基于图像分块的时序感知模型,并将3D块显著图用于增益由矩形块视差方法构建的质量评价模型。3D显著性包含2D显著性和双目视觉显著性两个方面。本文通过GBVS(Graph-based visual saliency)方法提取2D显著图,通过将块视差图转化为的块深度图和块深度图梯度图进行线性融合获得块视差显著图,最后将上述两种显著图进行线性融合构建3D显著图。另一方面,我们将人眼观察图像的过程看成注视点的移动过程,不同的注视点代表不同的感受野区域。同时,显著性高低意味着人眼在该区域注视的时间长短。本文根据上述理解提出了一种基于图像分块的时序感知模型,将图像显著性大小映射成分块图像在人眼视网膜响应频数的多少。最后,本文基于时序感知模型的理解将提取的3D块显著图对块视差图进行加权构建立体图像质量评价模型。实验结果表明,加权后的模型相对于原有的块视差质量评价模型预测效果有所增益,说明图像显著性对人眼舒适度感知有所影响,本文提出的时序感知模型较符合人眼感知过程。