论文部分内容阅读
摘 要：3D图像被认为是多媒体技术的重要标志，其中，立体图像质量对3D图像发展起到至关重要的作用。不同于传统的2D图像质量评价，在3D图像质量评价中引入关于体验质量（QoE）问题的新挑战，因此，本文提出一个基于双眼视觉感知特征一致性的立体图像体验质量评价算法。具体地，先对两个视点图像提取像素梯度作为视觉感知的低层次特征，再用梯度方向直方图特征（HOG）建立立体图像的视觉感知特征向量，然后，由支持向量回归（SVR）方法来学习视觉感知特征与立体图像体验质量得分的关系，最后，通过训练好的SVR模型来预测立体图像体验质量。实验结果表明所提算法能够有效地预测立体图像体验质量。
关键词：立体图像；QoE；HOG特征；支持向量回归
中图分类号：TP391.41 文献标识号：A 文章编号：2095-2163（2015）06-
Abstract： 3D image is regarded as milestone in the multimedia technologies. Stereoscopic image quality plays an important role in the development of 3D image. Different with the traditional 2D image quality assessment， a new challenge of Quality of Experience （QoE） is introduced in 3D image quality assessment. Therefore， based on the symmetry of binocular visual perception， this paper proposes a stereoscopic image QoE assessment model. Specifically， the pixel gradients are extracted as low-level features of visual perception from the two views’ image. Then， histograms of oriented gradients （HOG） is used to establish visual perception features vector for stereoscopic image. Next， the relationship between visual perception features and subjective QoE scores can be learned by the training procedure of SVR. Finally， stereoscopic image QoE score is predicted by the trained SVR. Experimental results indicate that the proposed model is efficient in QoE for stereoscopic image.
Keywords： Stereoscopic Image Quality； QoE； HOG Feature； SVR
0 引 言
近年来，随着3D技术的发展，3D图像为观众创造了逼真的临场体验。相比于传统的2D图像，3D图像的采集、处理、传输和显示等都需要更为复杂的技术，同时，由于人眼双目视觉的复杂性，目前的立体图像除了存在着传统2D图像失真的问题，如压缩引起的图像降质等；还有视觉不舒适、立体效果不自然、体验质量不佳等立体图像所特有的新问题。体验质量（ QoE，Quality of Experiences）是一个以用户为核心并考虑影响体验质量各种因素的一个总体概念[1]，尽管有研究者对2D图像或视频的QoE做过一些研究工作，但由于人眼单目视觉和双目视觉的本质区别，2D图像或视频的QoE 不能经过对两个视点QoE简单叠加直接应用于3D 图像的体验质量评价（3DQoE），在3DQoE评价中，需要更多地考虑人眼双目视觉特性。
由于人眼是立体图像的最终接收者，人的主观体验感受是对立体图像质量的最直接反映，各种立体图像处理技术的最终目的也是为了提升人们对立体图像的主观体验质量，这些主观体验质量包括立体图像的图像质量（如，清晰度、色度饱和度、纹理表现程度等），深度感知质量，观看立体图像的舒适度和视疲劳程度，与真实场景相比是否逼真、自然等。
目前对3DQoE的研究分为主观评价和客观评价。对于主观评价，VQEG[2]、EPFL（洛桑联邦理工学院）[3]等机构采用不同失真强度、视差水平或摄像机间距建立用于3DQoE评价的立体图像数据库，但由于双眼视觉系统的复杂性及现有立体图像技术的限制，人们还不能对空间场景中的目标进行“完美”建模，这也使得无法得到可作为参考源的立体图像，从而加大了对立体图像主观体验质量的评价难度。目前对3DQoE的客观评价还不多，Chen等人对立体图像的双目融合质量、深度感知质量和舒适度综合得到其体验质量[4]，Xing等人通过测量立体显示的串扰程度得到体验质量[5]，Liu等人提出一个3DQoE质量预测模型，并将其用于控制3D移动视频的转码[6]。尽管这些模型推动着3DQoE评价的研究，但是其准确性、普适性和可靠性还有所欠缺[1]，如何建立有效的3DQoE评价体系是立体图像质量评价的一个新的研究内容。
人眼在观看立体图像时，需要对双眼感知到的视觉信息进行融合，在融合过程中，需要双眼视觉感知特征具有高度的一致性，如果这种一致性被破坏将导致立体图像体验质量不佳的情况，因此，本文提出一个基于双眼视觉感知特征一致性的立体图像体验质量评价算法。首先，根据像素梯度能够对人眼视觉感知的低层次特征进行有效描述，分别计算立体图像左、右视点图像的梯度，其次，计算梯度方向直方图特征（HOG）作为立体图像的视觉感知特征向量，然后，由支持向量回归（SVR）生成的预测函数来学习双眼视觉感知特征与立体图像体验质量得分的关系，最后，通过训练好的预测函数来评价立体图像体验质量。实验结果表明所提算法能够有效地预测立体图像体验质量。本文所提算法可以很好地解决立体图像体验质量评价的基准深度图依赖性问题，具有更广泛的3D应用场景，同时所提算法的参数较少，具有较低的计算复杂度。 1视觉感知特征提取
1.1像素梯度
2 QoE计算
在观看立体图像或视频时，双眼获得的视觉信息经过融合才会形成可感知的单眼图像，而很多因素都会阻碍双眼融合，双眼图像的非一致性就是其中一个主要因素。由于人眼对图像的结构特征高度敏感，结构特征是人们感知、理解图像的关键，双眼融合就包括对双眼感知到的视觉特征的匹配对准，只有符合可融合的视觉特征才会对视觉感知起作用，否则，会引起融合困难或者无法融合的情况，从而导致立体体验质量不佳。
3 实验结果与结论分析
3.1 实验设置
尽管已经建成一些关于立体感知研究的图像库，但有些图像库只考虑视觉不舒适因素，如KAIST的立体图像、视频数据库主要考虑视差引起的立体不舒适，NTNU建立的立体图像库是针对由串扰引起的立体图像视觉不舒适；并且，大部分图像库都没有授权公开使用，目前关于立体体验质量研究可以提供授权的数据库有Yonsei University的IEEE-SA立体图像库和EPFL的立体图像视频库，由于EPFL的立体图像视频库仅提供54幅立体图像，鉴于本文所提QoE评价算法需要对立体图像数据库划分训练集和测试集，因此，本文放弃较小的EPFL立体图像视频库，选取IEEE-SA立体图像库用作所提QoE评价模型的性能测试，EEE-SA立体图像库包括800幅立体图像及其对应的MOS得分，每个立体图像都是由分辨率为1920 1080的左、右视点图像组成。
本节实验用LIBSVM[7]提供的SVR软件包训练SVCA的预测函数，在划分训练集和测试集时，研究选用100次五折交叉验证测试预测函数的评价性能，从所有54幅立体图像中随机地选取五分之四图像用于训练，剩余的五分之一用于做测试。在测试预测函数的评价性能时，进一步选用3个评价准则通过计算SVR模型预测的舒适度得分与主观的DMOS值的相关性得到所提算法的性能，这3个准则包括PLCC（Pearson linear correlation coefficient）和SROCC（Spearman rank order correlation coefficient）。当SVCA算法性能较好时，它会得到较大的PLCC、SROCC取值。
3.2性能测试
为了对比所提QoE评价算法的性能，本文对比了两个先进的客观立体体验质量评价算法，具体包括：Nojiri等人的算法[8]和Yano 等人的算法[9]，其中，Nojiri等人用相位相关度从立体图像中估计视差信息，再利用视差分布范围和平均视差分布计算立体HDTV图像的QoE；Yano 等人的QoE评价算法通过立体图像左、右两个视点图像的相关性计算立体图像的QoE。各QoE评价算法在立体图像库IEEE-SA的预测性能如表1所示。
从表1可以看出本文所提的QoE评价算法在IEEE-SA立体图像数据库上都取得较好的预测性能。所提QoE评价算法的PLCC、SROCC要好于Nojiri等人和Yano 等人的QoE评价算法的PLCC、SROCC。
4 结束语
针对立体图像体验质量评价的问题，本文提出一个基于双眼视觉感知特征一致性的立体图像体验质量评价算法，其中分别将两个视点图像的像素梯度作为立体图像视觉感知的低层次特征，再用梯度方向直方图特征（HOG）建立立体图像的视觉感知特征向量，最后，通过训练好的支持向量回归（SVR）模型来预测立体图像体验质量。实验结果表明所提算法能够较好地预测立体图像体验质量。
参考文献：
[1] 刘延伟，刘金霞，慈松，等.3DQoE评价方法及其模型研究进展综述[J].电子学报， 2015， 43（3）： 568-576.
[2] VQEG. Establishing a Ground Truth for Quality of Experience in 3D for Assessment Methodologies in 3D Video Quality Assessment [S/OL]. 2014， http：//www.its.bldrdoc.gov/vqeg /projects/3dtv/3dtv.aspx.
[3] GOLDMANN L， SIMONE F D， EBRAHIMI T. A comprehensive database and subjective evaluation methodology for quality of experience in stereoscopic video[C]// Proc. of SPIE-IS
关键词：立体图像；QoE；HOG特征；支持向量回归
中图分类号：TP391.41 文献标识号：A 文章编号：2095-2163（2015）06-
Abstract： 3D image is regarded as milestone in the multimedia technologies. Stereoscopic image quality plays an important role in the development of 3D image. Different with the traditional 2D image quality assessment， a new challenge of Quality of Experience （QoE） is introduced in 3D image quality assessment. Therefore， based on the symmetry of binocular visual perception， this paper proposes a stereoscopic image QoE assessment model. Specifically， the pixel gradients are extracted as low-level features of visual perception from the two views’ image. Then， histograms of oriented gradients （HOG） is used to establish visual perception features vector for stereoscopic image. Next， the relationship between visual perception features and subjective QoE scores can be learned by the training procedure of SVR. Finally， stereoscopic image QoE score is predicted by the trained SVR. Experimental results indicate that the proposed model is efficient in QoE for stereoscopic image.
Keywords： Stereoscopic Image Quality； QoE； HOG Feature； SVR
0 引 言
近年来，随着3D技术的发展，3D图像为观众创造了逼真的临场体验。相比于传统的2D图像，3D图像的采集、处理、传输和显示等都需要更为复杂的技术，同时，由于人眼双目视觉的复杂性，目前的立体图像除了存在着传统2D图像失真的问题，如压缩引起的图像降质等；还有视觉不舒适、立体效果不自然、体验质量不佳等立体图像所特有的新问题。体验质量（ QoE，Quality of Experiences）是一个以用户为核心并考虑影响体验质量各种因素的一个总体概念[1]，尽管有研究者对2D图像或视频的QoE做过一些研究工作，但由于人眼单目视觉和双目视觉的本质区别，2D图像或视频的QoE 不能经过对两个视点QoE简单叠加直接应用于3D 图像的体验质量评价（3DQoE），在3DQoE评价中，需要更多地考虑人眼双目视觉特性。
由于人眼是立体图像的最终接收者，人的主观体验感受是对立体图像质量的最直接反映，各种立体图像处理技术的最终目的也是为了提升人们对立体图像的主观体验质量，这些主观体验质量包括立体图像的图像质量（如，清晰度、色度饱和度、纹理表现程度等），深度感知质量，观看立体图像的舒适度和视疲劳程度，与真实场景相比是否逼真、自然等。
目前对3DQoE的研究分为主观评价和客观评价。对于主观评价，VQEG[2]、EPFL（洛桑联邦理工学院）[3]等机构采用不同失真强度、视差水平或摄像机间距建立用于3DQoE评价的立体图像数据库，但由于双眼视觉系统的复杂性及现有立体图像技术的限制，人们还不能对空间场景中的目标进行“完美”建模，这也使得无法得到可作为参考源的立体图像，从而加大了对立体图像主观体验质量的评价难度。目前对3DQoE的客观评价还不多，Chen等人对立体图像的双目融合质量、深度感知质量和舒适度综合得到其体验质量[4]，Xing等人通过测量立体显示的串扰程度得到体验质量[5]，Liu等人提出一个3DQoE质量预测模型，并将其用于控制3D移动视频的转码[6]。尽管这些模型推动着3DQoE评价的研究，但是其准确性、普适性和可靠性还有所欠缺[1]，如何建立有效的3DQoE评价体系是立体图像质量评价的一个新的研究内容。
人眼在观看立体图像时，需要对双眼感知到的视觉信息进行融合，在融合过程中，需要双眼视觉感知特征具有高度的一致性，如果这种一致性被破坏将导致立体图像体验质量不佳的情况，因此，本文提出一个基于双眼视觉感知特征一致性的立体图像体验质量评价算法。首先，根据像素梯度能够对人眼视觉感知的低层次特征进行有效描述，分别计算立体图像左、右视点图像的梯度，其次，计算梯度方向直方图特征（HOG）作为立体图像的视觉感知特征向量，然后，由支持向量回归（SVR）生成的预测函数来学习双眼视觉感知特征与立体图像体验质量得分的关系，最后，通过训练好的预测函数来评价立体图像体验质量。实验结果表明所提算法能够有效地预测立体图像体验质量。本文所提算法可以很好地解决立体图像体验质量评价的基准深度图依赖性问题，具有更广泛的3D应用场景，同时所提算法的参数较少，具有较低的计算复杂度。 1视觉感知特征提取
1.1像素梯度
2 QoE计算
在观看立体图像或视频时，双眼获得的视觉信息经过融合才会形成可感知的单眼图像，而很多因素都会阻碍双眼融合，双眼图像的非一致性就是其中一个主要因素。由于人眼对图像的结构特征高度敏感，结构特征是人们感知、理解图像的关键，双眼融合就包括对双眼感知到的视觉特征的匹配对准，只有符合可融合的视觉特征才会对视觉感知起作用，否则，会引起融合困难或者无法融合的情况，从而导致立体体验质量不佳。
3 实验结果与结论分析
3.1 实验设置
尽管已经建成一些关于立体感知研究的图像库，但有些图像库只考虑视觉不舒适因素，如KAIST的立体图像、视频数据库主要考虑视差引起的立体不舒适，NTNU建立的立体图像库是针对由串扰引起的立体图像视觉不舒适；并且，大部分图像库都没有授权公开使用，目前关于立体体验质量研究可以提供授权的数据库有Yonsei University的IEEE-SA立体图像库和EPFL的立体图像视频库，由于EPFL的立体图像视频库仅提供54幅立体图像，鉴于本文所提QoE评价算法需要对立体图像数据库划分训练集和测试集，因此，本文放弃较小的EPFL立体图像视频库，选取IEEE-SA立体图像库用作所提QoE评价模型的性能测试，EEE-SA立体图像库包括800幅立体图像及其对应的MOS得分，每个立体图像都是由分辨率为1920 1080的左、右视点图像组成。
本节实验用LIBSVM[7]提供的SVR软件包训练SVCA的预测函数，在划分训练集和测试集时，研究选用100次五折交叉验证测试预测函数的评价性能，从所有54幅立体图像中随机地选取五分之四图像用于训练，剩余的五分之一用于做测试。在测试预测函数的评价性能时，进一步选用3个评价准则通过计算SVR模型预测的舒适度得分与主观的DMOS值的相关性得到所提算法的性能，这3个准则包括PLCC（Pearson linear correlation coefficient）和SROCC（Spearman rank order correlation coefficient）。当SVCA算法性能较好时，它会得到较大的PLCC、SROCC取值。
3.2性能测试
为了对比所提QoE评价算法的性能，本文对比了两个先进的客观立体体验质量评价算法，具体包括：Nojiri等人的算法[8]和Yano 等人的算法[9]，其中，Nojiri等人用相位相关度从立体图像中估计视差信息，再利用视差分布范围和平均视差分布计算立体HDTV图像的QoE；Yano 等人的QoE评价算法通过立体图像左、右两个视点图像的相关性计算立体图像的QoE。各QoE评价算法在立体图像库IEEE-SA的预测性能如表1所示。
从表1可以看出本文所提的QoE评价算法在IEEE-SA立体图像数据库上都取得较好的预测性能。所提QoE评价算法的PLCC、SROCC要好于Nojiri等人和Yano 等人的QoE评价算法的PLCC、SROCC。
4 结束语
针对立体图像体验质量评价的问题，本文提出一个基于双眼视觉感知特征一致性的立体图像体验质量评价算法，其中分别将两个视点图像的像素梯度作为立体图像视觉感知的低层次特征，再用梯度方向直方图特征（HOG）建立立体图像的视觉感知特征向量，最后，通过训练好的支持向量回归（SVR）模型来预测立体图像体验质量。实验结果表明所提算法能够较好地预测立体图像体验质量。
参考文献：
[1] 刘延伟，刘金霞，慈松，等.3DQoE评价方法及其模型研究进展综述[J].电子学报， 2015， 43（3）： 568-576.
[2] VQEG. Establishing a Ground Truth for Quality of Experience in 3D for Assessment Methodologies in 3D Video Quality Assessment [S/OL]. 2014， http：//www.its.bldrdoc.gov/vqeg /projects/3dtv/3dtv.aspx.
[3] GOLDMANN L， SIMONE F D， EBRAHIMI T. A comprehensive database and subjective evaluation methodology for quality of experience in stereoscopic video[C]// Proc. of SPIE-IS