论文部分内容阅读
随着移动成像设备的快速增长,数字图像已经成为了信息表示和交互的重要载体。然而,数字图像在整个生存周期中的不同阶段都有可能造成不同程度的质量衰减。这些衰减将会导致视觉信息的损失,从而造成无法令观察者满意的感官体验,同时也会对后续的图像处理和分析步骤造成困难。图像质量的评价问题在大量的图像/视频处理和机器视觉应用上起到了至关重要的作用,包括图像压缩、传输、获取、显示、增强、去噪、分割、检测、照片分类等。图像的质量包括保真度和可懂度两方面,其中保真度测量了待测图像与标准图像之间的偏离情况;可懂度表示了人类或者机器能够从图像中获取相关信息的能力。图像质量评价一般分为主观评价和客观评价。主观评价的目标是通过设计实验来获取人类对图像的主观评价分数,而客观评价的目标是通过设计计算模型,从而能够精确和自动地预测与人类感知相关的失真图像的质量。相比于客观评价中的全参考和半参考图像质量评价,无参考图像质量评价是指在不知道任何关于参考图像信息的情况下能够对待测图像质量进行评价,这也是最具有挑战性和难度最大的客观评价方法。近年来,深度学习领域的蓬勃发展促使了机器视觉领域取得了许多令人瞩目的突破性成果,例如图像识别、图像分类、目标检测,目标跟踪、图像分割、图像超分辨率重建、图像去噪、图像质量评价等。深度学习大幅提高了图像质量评价领域的性能,极大的促进了该领域的发展,但是相比于传统的研究方法,深度学习的理论目前尚不完备,对其性能的分析基本只能从实验的角度进行验证。传统的研究方法模型简单、理论完备、生物学对应特性清楚、训练灵活、小样本训练的优点使其在该领域内仍然具有蓬勃的生命力。若能提取合适的符合人类视觉系统信息处理方法的特征,传统方法依然可以取得优良的性能。讨论了网络深度和卷积核个数对卷积神经网络(ConvolutionalNeuralNetwork,CNN)对框架性能的影响。考虑到人类视觉系统特性对深度学习方法的补充,本文首先提出了一种联合梯度信息与CNN的无参考图像质量评价算法。通过引入人类视觉系统的相关特性,例如对图像中的边缘和轮廓信息非常敏感,对原CNN框架进行了改进。通过计算分割后图像的梯度映射图,然后对图像小块内的梯度幅值进行求和,从而获得原始图像中各个小块的加权值。最后获得的图像质量分数,是由CNN框架获得的各个图像块的质量预测分数,乘以对应的小块加权值,最后由经过加权后得到的小块分数的均值表示原始图像的质量分数。本文提出的算法能够对图像中各个小块的图像质量进行校正,而不是仅仅对整副图像,通过联合梯度信息提高了图像评价的主客观一致性。其次,提出了基于CNN与支持向量回归(Support Vector Regression,SVR)混合模型的无参考图像质量评价算法。CNN框架具有优良的特征自学习的能力,而传统的人工设计特征通常是一个冗长和耗时的过程,并且这些特征的提取主要集中在变换域,很少直接从原始图像块进行提取。本文利用CNN框架作为特征提取器,然后用SVR替代了CNN框架中的全连接层,建立了质量敏感特征与图像主观评价分数之间的映射关系。实验结果表明,该混合模型能够提高图像质量评价的主客观一致性。再次,通过引入深度学习近几年提出的新技术,例如Dropout、局部相应归一化等,实验结果表明,新技术的引入提高了图像质量评价的主客观一致性。由于单一的图像质量预测并不能完全描述失真图像,而且对图像失真类型的判断,在实际的研究和工程实践中都有重要的意义。在此基础上,提出了同时预测图像质量与失真类型的多任务CNN框架。实验结果表明,所提出的多任务CNN框架能够同时预测图像的质量和所属的失真类型,并且相对于只预测图像质量的单任务CNN框架提高了主客观的一致性。同时,基于对人类视觉系统关于信息处理方式的研究,本文提出了符合视觉特性的多通道、多方向、多尺度的自然误差统计(NaturalDeviationStatistics,NDS)特征提取框架,通过对各通道下,不同方向和不同尺度下获得的误差映射图进行直方图统计,并利用非对称广义高斯分布(Asymmetric Generalized Gaussian Distribution,AGGD)模型拟合参数作为NDS特征,最后通过SVR学习所提取的NDS特征与图像主观评价分数之间的映射关系。实验结果表明,所提出的算法框架具有良好的图像质量评价的主客观一致性,并且具有高效的时间复杂度,能够满足实时系统的需求。最后,本文将所研究的无参考图像质量评价方法扩展到了实际的项目需求中。在实际的国防项目中,图像压缩检测系统中对不同压缩比图像的质量评价是衡量系统性能的一个关键性指标。传统的方法都是基于参考图像已知的情况下,直接采用经典的全参考图像质量评价的方法对其进行评估。本文在此基础上,扩展了传统的思路,在无法获取参考图像的情况下,采用了本文所研究的基于CNN框架和基于自然场景统计模型两类方法对其进行评价。实验结果表明,两类方法所学习的评价模型都具有很好的泛化能力,能够有效且准确的对原图和基于原图的不同压缩比情况下的图像进行评价。