基于视觉反馈机制和自注意力机制的无参考图像质量评价

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:itartan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是一种比语音和文字更丰富的信息载体,是人们获取信息和理解世界的主要方式。然而,在采集、处理、传输和恢复的过程中,图像不可避免地产生失真和降质,严重影响图像质量和人们的观看体验。设计与人类主观视觉感知一致的无参考图像质量评价方法,从而准确量化图像质量,对指导成像过程、优化处理算法和提升视觉体验具有重要意义。本文参照人类主观感知图像质量的过程与相关机制,设计符合人类主观感知特性的无参考图像质量评价方法。具体而言,本文所提方法与主要贡献如下:第一部分提出一种基于视觉反馈机制的无参考图像质量评价方法。人类视觉系统对图像质量的精确评价依赖于反馈机制对视觉信息的不断筛选和加工,但是现有无参考图像质量评价方法忽略了反馈机制在图像质量感知中的作用。针对这个问题,本方法使用卷积长短时记忆网络单元来搭建反馈质量评价网络,该网络的质量预测迭代进行,每次迭代时将上一次迭代的输出和记忆单元状态作为失真反馈信息重新输入到网络中,得到更加具有判别力的图像质量特征表示,进行更加精确的图像质量预测。而且,在不同迭代阶段设置不同错误容忍度的损失函数作为约束,并动态调整各阶段损失的权重,保证质量预测精确度逐步提升。在合成失真数据库和真实失真数据库上进行的大量实验表明,该算法性能优异。第二部分提出一种基于元加权损失的无参考图像质量评价方法。基于深度学习的无参考图像质量评价模型通常采用图像切块策略来扩充数据,并将整张图像的主观质量MOS作为图像块的标签。但是,由于图像块的主观质量和整张图像的主观质量存在差异,导致用于训练的图像块存在标签MOS误差问题。针对这个问题,本方法引入一个根据损失值来决定图像块权重的元权重网络来缓解标签MOS误差的影响。首先,在无标签MOS误差的元数据集的引导下,以元学习范式调整元权重网络的参数,使其具备衡量图像块标签MOS误差大小的能力。最后将元权重网络用于构造质量评价网络的样本重加权损失函数,自适应地对样本重加权,达到鲁棒学习的效果。在公共图像质量评价数据库上进行的大量实验表明,该算法性能优异。第三部分提出一种基于自注意力机制的无参考图像质量评价方法。人类视觉系统感知图像局部失真时会受到全局上下文的影响。但是无参考图像质量评价深度模型通常选择卷积操作来提取质量感知特征,卷积操作的局部特性导致所提取特征无法捕获图像的全局上下文信息。针对这个问题,本方法通过视觉Transformer的自注意力机制进行全局上下文建模。具体来说,首先,对失真图像进行卷积操作来构造质量感知特征图,并裁剪特征图得到局部特征序列。然后,将局部特征序列输入视觉Transformer编码器,通过自注意力机制对局部特征序列进行全局上下文建模。最终,多层感知机将Transformer编码器输出的特征映射到图像质量分数。而且,改进了成对排序损失函数来训练网络,当图像对的预测排序顺序出现错误时对网络施加惩罚,从而提高算法评价结果和主观评价结果间的排序相关性。在公共图像质量评价数据库上进行的大量实验表明,该算法性能优异。
其他文献
学位
学位
学位
近年来,遥感影像智能解译在深度学习技术的推动下获得了快速的发展,目标检测也因此成为遥感领域中一个比较活跃的研究方向。虽然现有的目标检测方法已经在自然图像上取得了瞩目的成果,但遥感影像中目标尺度的多样性、背景复杂、密集分布以及小样本特性等问题仍然制约着目标检测在遥感领域的发展,使得遥感影像目标检测任务仍极具挑战性。本文针对遥感影像中目标尺度的多样性、密集分布以及小样本特性等问题,基于多尺度特征和小样
学位
无线射频识别技术以及无线能量传输技术在对象识别及跟踪方向上已有广泛应用,例如,零售产品管理,智能仓库应用及工业监测等。在实际应用中,由于阅读器功率半径能量及无线可充电传感器网络能量的有限性,无线技术的应用代价是十分昂贵的。因此,无线射频网络规划问题与可充电网络寿命优化问题已经成为了当前研究的主要问题。无线射频网络规划问题主要研究如何确定阅读器的数量及位置去优化系统的性能。可充电网络寿命最大化问题主
柚皮素是一种黄烷酮化合物,主要存在于柑橘类水果中。研究显示,柚皮素具有抗菌、抗氧化、抗炎和抗过敏活性,也有报道指出柚皮素可能通过抑制新型冠状病毒(SARS-Co V-2)的主要蛋白酶和3-胰凝乳蛋白酶样蛋白酶(3CLpro)来发挥治疗作用。因此,建立柚皮素的检测分析方法,筛选富含柚皮素的资源尤为重要。目前,已建立了灵敏的柚皮素分析方法(UPLC、UPLC-MS/MS),但仪器分析受限于昂贵的仪器和
本硕士学位论文研究了介孔材料MCM-41负载铜配合物催化剂在催化碳-硫键和C(sp)-C(sp3)键形成反应中的应用,主要研究工作包括以下两个部分:1.将N-甲基咪唑与(3-氯丙基)三乙氧基硅烷在无水甲苯中回流反应得到三乙氧基硅基功能化的咪唑离子氯化物[(EtO)3 Si-MPIM·Cl]。然后将介孔材料MCM-41与[(EtO)3Si-MPIM·Cl]在无水甲苯中回流24小时,接着用Me3SiC
学位
半导体光电催化裂解水技术是一种将太阳能转换为氢能的可持续能源制取技术,它是应对本世纪能源危机的重要技术之一。该技术具有性价比高、运行简单、环境友好等优点,极具发展潜力。但是半导体光电催化技术受制于半导体材料较宽的能带结构,无法吸收转换红外光子,造成太阳光转换效率上限较低。将红外上转换材料与光电催化材料进行耦合,利用上转换材料将红外光转换为可见光的上转换特性,可开发上转换耦合光电催化光阴极器件。该器