论文部分内容阅读
根据人眼视觉注意机制,当人们观察自然界中的场景时,人们总是会首先注意到一些相对于背景较突出的物体或者区域,而对于不感兴趣的部分则会自动忽略掉,从而减少视觉处理的复杂度。显著性检测就是模拟人眼的这一机制,从图像中提取出感兴趣的区域。作为图像预处理过程,显著性检测可以被应用于许多视觉工作,诸如图像质量评价,视觉跟踪,目标重定位,图像检索,图像分割等。随着图像采集技术的发展,深度提示、图像间对应或时间关系等更为全面的信息可以将2D显著性检测扩展到立体图像显著性检测。如何有效地利用深度信息来建立深度诱导的显著性检测模型和如何实现2D视图和深度视图的最佳组合,是立体图像显著性检测面临的重要挑战。本文首先探索了利用手工提取特征建立显著性检测的模型的方法,继而提出两种结合元胞自动机的立体图像显著性检测优化模型,最后探索了立体图像显著性在图像质量评价上的应用。本文主要内容如下:(1)提出了一种基于Log-Gabor滤波的纹理和深度图融合优化的立体图像显著性检测模型,利用平面图像的显著性结合纹理与深度特征来检测立体图像的显著性。首先,通过改进的基于图的流行排序算法计算左视点的显著图;其次,提取左视图的纹理特征图以及立体图像的深度特征图,利用Log-Gabor滤波器分别计算深度显著图和纹理显著图;接着,利用线性加权融合(WLC)方法将上述的三个显著图融合为立体显著图;最后,利用中心偏爱和视觉敏锐度优化立体显著图。利用公开的眼动凝视数据库进行测试,结果表明该方法具有很好的检测效果。(2)提出了两种结合元胞自动机的立体图像显著性检测优化方法,并比较了两种方法生成的立体显著图的性能。第一种模型的策略是首先将2D显著图、深度显著图分别用单层元胞自动机增强,然后再与纹理显著图融合,利用中心偏爱和视觉敏锐度方法优化;第二种方法直接将2D显著图、深度显著图和纹理显著图用多层元胞自动机处理,多层元胞自动机在整合各显著图的优点的同时将多个显著图融合,最后将得到的立体显著图利用中心偏爱和视觉敏锐度方法优化。在多个立体图像显著性检测数据集上的测试表明,所提方法具有较好的效果。(3)基于卷积神经网络,结合立体图像的显著性,构建一个三分支的卷积神经网络模型,用于预测立体图像质量得分。该方法首先将立体图像对和立体显著图进行亮度系数归一化,然后将归一化后的图像作为网络三个分支的输入。左右视图所在分支基于Siamese网络原理拥有相同的权重,使用对比损失函数来优化网络的权值,而立体显著图所在分支网络独立学习数据特征。最后将3个分支网络输出的特征向量拼接,输入到全连接层回归,最后一个全连节层输出立体图像的预测分数。在LIVE 3D Phase I库和LIVE 3D Phase II库上的实验表明,所提方法具有较好的预测结果。