论文部分内容阅读
图像是一种比语音和文字更丰富的信息载体,是人们获取信息和理解世界的主要方式。然而,在采集、处理、传输和恢复的过程中,图像不可避免地产生失真和降质,严重影响图像质量和人们的观看体验。设计与人类主观视觉感知一致的无参考图像质量评价方法,从而准确量化图像质量,对指导成像过程、优化处理算法和提升视觉体验具有重要意义。本文参照人类主观感知图像质量的过程与相关机制,设计符合人类主观感知特性的无参考图像质量评价方法。具体而言,本文所提方法与主要贡献如下:第一部分提出一种基于视觉反馈机制的无参考图像质量评价方法。人类视觉系统对图像质量的精确评价依赖于反馈机制对视觉信息的不断筛选和加工,但是现有无参考图像质量评价方法忽略了反馈机制在图像质量感知中的作用。针对这个问题,本方法使用卷积长短时记忆网络单元来搭建反馈质量评价网络,该网络的质量预测迭代进行,每次迭代时将上一次迭代的输出和记忆单元状态作为失真反馈信息重新输入到网络中,得到更加具有判别力的图像质量特征表示,进行更加精确的图像质量预测。而且,在不同迭代阶段设置不同错误容忍度的损失函数作为约束,并动态调整各阶段损失的权重,保证质量预测精确度逐步提升。在合成失真数据库和真实失真数据库上进行的大量实验表明,该算法性能优异。第二部分提出一种基于元加权损失的无参考图像质量评价方法。基于深度学习的无参考图像质量评价模型通常采用图像切块策略来扩充数据,并将整张图像的主观质量MOS作为图像块的标签。但是,由于图像块的主观质量和整张图像的主观质量存在差异,导致用于训练的图像块存在标签MOS误差问题。针对这个问题,本方法引入一个根据损失值来决定图像块权重的元权重网络来缓解标签MOS误差的影响。首先,在无标签MOS误差的元数据集的引导下,以元学习范式调整元权重网络的参数,使其具备衡量图像块标签MOS误差大小的能力。最后将元权重网络用于构造质量评价网络的样本重加权损失函数,自适应地对样本重加权,达到鲁棒学习的效果。在公共图像质量评价数据库上进行的大量实验表明,该算法性能优异。第三部分提出一种基于自注意力机制的无参考图像质量评价方法。人类视觉系统感知图像局部失真时会受到全局上下文的影响。但是无参考图像质量评价深度模型通常选择卷积操作来提取质量感知特征,卷积操作的局部特性导致所提取特征无法捕获图像的全局上下文信息。针对这个问题,本方法通过视觉Transformer的自注意力机制进行全局上下文建模。具体来说,首先,对失真图像进行卷积操作来构造质量感知特征图,并裁剪特征图得到局部特征序列。然后,将局部特征序列输入视觉Transformer编码器,通过自注意力机制对局部特征序列进行全局上下文建模。最终,多层感知机将Transformer编码器输出的特征映射到图像质量分数。而且,改进了成对排序损失函数来训练网络,当图像对的预测排序顺序出现错误时对网络施加惩罚,从而提高算法评价结果和主观评价结果间的排序相关性。在公共图像质量评价数据库上进行的大量实验表明,该算法性能优异。