论文部分内容阅读
无参考图像质量评价(No Reference Image Quality Assessment,NRIQA)又称盲图像质量评价(Blind Image Quality Assessment,BIQA)指在没有图像参考或者没有图像的特征参考情况下,直接对图像进行其质量的评价。其目的是模拟人眼的视觉系统,自动准确的判断图像质量。无参考图像质量评价是计算机视觉、图像处理中的一个重要研究内容,是自动判断捕获高质量图像的关键技术。自深度学习在计算机视觉领域取得显著成功后就成了该领域的主要贡献者,通过数据驱动从大量样本中学习复杂特征。这种基于统计原理的方式,虽然理论有待完善,实践中却不断得到新的突破,并迅速用于商业领域,关于图像质量评价也涌现出大量网络模型。这些模型从丰富的失真样本中学习图像质量特征、利用典型模型如VGGNet,残差网络等进行图像质量特征的迁移学习,或者结合语义信息对图像质量特征进行描述,以实现在没有参考图像或者参考特征的条件下,对图像质量进行符合人眼判断的评价。本文基于深度学习方法,从无参考图像质量评价的实际需求出发,结合卷积神经网络优化策略进行深入的研究。具体研究内容包括:(1)基于浅层卷积网络的无参考图像质量评价研究:为得到简单准确的无参考图像质量评价模型,对2014年至今的基于深度学习方法实现的无参考图像质量评价典型方法进行多角度对比分析,得到主流的质量评价结构,分为单任务结构和多任务结构,其中多任务结构包含常见的三类不同结构。基于浅层卷积网络实现基于单任务结构和基于多任务结构的网络模型并进行实验对比;再通过多任务模型的子任务输出维度实验说明,基于多任务结构的无参考图像质量评价模型其子任务具有迁移集成于其他任务中的优点,设计合理的子任务能够先在目标数据集上预训练,再结合质量评价任务微调以实现无参考图像质量评价。(2)基于失真等级的深层无参考图像质量评价研究:为了将无参考的图像质量评价模型扩展至实际的应用场景,既能够应用于单失真图像,又适用于多失真图像,在基于多任务结构的浅层神经网络模型基础上,提出基于失真类型的无参考图像质量评价算法。同时,为探索更多级、更深层的网络对图像质量特征的表达,扩展网络深度,对扩展后的模型首先进行基于失真等级的子任务预训练,再进行无参考图像的质量评价训练。此外,本文采用秩相关系数(Spearman’s rank-order correlation coefficient,SROCC)和皮尔逊线性相关系数(Pearson linear correlation coefficient,PLCC)两个性能衡量指标从准确率和相关性两个方面进行衡量,同其他典型模型IAQ-CNN++、DIVINE、BIQI等对比,结果显示本文方法参数量低、准确率达0.924,与人眼相关性达0.931。最后,基于研究成果从不同角度对无参考图像质量评价问题提出优化方向。