基于Transformer感知特征增强的全参考图像质量评价算法研究

来源 :广西师范大学 | 被引量 : 0次 | 上传用户:ewqvcx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能手机的普及和社交网络平台的广泛应用,越来越多的用户在微信、微博和小红书等平台上分享各种各样的数字图像。因此,数字图像已逐渐成为信息交互的一种主流形式。由于图像成像设备和图像通信系统尚不完善,数字图像在采集、传输和显示等过程中会出现图像质量失真现象,影响用户的体验。如何用计算的方法准确地评价图像质量失真程度已成为图像处理和计算机视觉研究领域的一种重要任务。通常,图像质量评价可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价三种类型,其中全参考图像质量评价是在参考图像和失真图像均为已知的前提下对失真图像质量进行定量评价。由于深度学习在自然语言处理、图像分类、目标检测等任务取得巨大成功,因此许多研究人员利用深度学习开展了一系列图像质量评价研究工作。运用深度神经网络设计全参考图像质量评价算法是当前图像质量评价研究的一个重要课题。本文利用Transformer网络,同时结合特征聚合、注意力机制、孪生网络等理论和技术,开展全参考图像质量评价研究,设计出两种高效的质量评价新算法,即基于多层次Transformer特征聚合的全参考图像质量评价算法、统一双注意力和孪生Transformer网络的全参考图像质量评价算法。本文的主要结果概括如下:(1)设计基于多层次Transformer特征聚合的全参考图像质量评价算法通常,图像质量失真直接反应在图像像素的信息损失,不同失真类型所造成的信息损失往往不同。因此可通过量化图像的颜色、纹理、边缘、局部结构特征等信息的损失,从而有效反映出图像质量失真程度。为此,本文利用Transformer网络和特征聚合技术,设计一种基于多层次特征聚合的全参考图像质量评价算法。该算法利用双路视觉Transformer网络提取多级特征,通过考虑参考图像和失真图像之间的颜色、纹理、形状等低级特征以及带语义信息的高级特征之间的关系,得到多层次感知差异特征。然后通过设计注意力聚合器对差异特征进行聚合,使得网络更关注特征图中的重要特征并抑制不重要特征,从而提高失真敏感性。最后使用双分支预测头的策略来预测最终质量得分。此外,还设计联合均方误差、KL散度和质量分数排名次序的损失函数,以确保网络训练稳定并且能有效地学习图像感知质量。实验结果表明该算法在传统失真数据集上优于一些先进的全参考图像质量评价算法。此外,该算法在生成式对抗网络(GAN)合成图像数据集上也达到较好的性能。(2)提出统一双注意力和孪生Transformer网络的全参考图像质量评价算法现有全参考图像质量评价算法在评估传统失真图像和GAN合成失真图像方面还存在局限性。为此,本文基于Transformer网络和双注意力等技术,提出一种统一双注意力和孪生Transformer网络的全参考图像质量评价算法。该项工作的一个重要贡献是设计了一个联合孪生Transformer网络和特征融合网络的空域注意力模块。该注意力模块能够模拟人类视觉系统,使视觉注意力集中在重要区域的特征,同时能有效地将参考图像和失真图像之间的感知差异映射成一种潜在距离。另外一个重要贡献是设计双注意力策略,通过联合空域注意力和通道注意力对特征进行聚合,以提高失真敏感性。此外,还设计了一个新的联合损失函数,综合考虑均方误差、双向KL散度和质量分数排名次序等信息。该损失函数能提供稳定训练并确保网络能够有效地学习图像感知质量。在公开数据集上进行大量实验,结果表明该算法在混合图像质量评价问题上优于多种先进的全参考图像质量评价算法。
其他文献
根据新时期国家政策和医学研究模式对医学评价体系的要求,分析医学科技研究模式和科技成果及其转化趋势,提出现有学术评价存在的问题,主要针对基础研究、临床与转化研究(包括新药研发)和管理学领域,提出医学科技评价体系框架和不同专业领域评价体系构建的具体建议。主要包括:建立多元评价体系、分类评价体系和分级分层评价机制来解决不同领域单一评价体系的问题;建立定性和定量相结合的综合分层评价体系,并以基础研究为主提
期刊
能源转型是生态文明建设的重要组成部分,平稳、顺利地实现能源转型对我国生态文明建设至关重要。欧洲大国使用清洁能源替代传统化石能源与核能等的实践,特别是俄乌冲突以来欧洲能源战略的经验和教训,必将对在世界百年未有之大变局中重构世界政治经济、社会文化产生影响。过度依赖化石能源和进口能源,非大国发展长久之计。我们要立足国情,科学有效地进行能源转型,与拥有先进能源科技的欧洲大国开展合作,以能源安全新战略保障我
期刊
数字化技术已然改变了媒体的传播形态,受众对信息的接收渠道、接收方式及互动形式、思维模式等都发生了巨大变化,产业化、专业化的新兴内容市场已经形成。主流传统媒体必须推进媒体深度融合,坚持“内容为王”,利用自身专业性和权威性的优势,顺应由技术驱动的数字化改革,保持并不断提升内容生产力,在自有平台和新媒体平台双管齐下,一套内容、多种表达,利用新媒体渠道优势提升产品影响力。本文作者结合广电实际,从SMG流行
期刊
目的 系统评价针灸治疗带状疱疹后遗神经痛(PHN)的临床疗效。方法 检索数据库,收集针灸治疗带状疱疹后遗神经痛的临床随机对照试验(Randomized Controlled Trial RCT),对照组为常规的西药治疗。收集符合纳入标准的文献,并根据Jadad评分进行质量评估,使用Rev Man 5.3对提取的数据信息进行Meta分析和统计。结果 最终纳入研究的随机对照试验文献18篇,共1344篇
期刊
作为船舶智能技术体系的关键组成部分,航行态势感知近年来引起了广泛关注。为了能把握船舶航行态势感知的发展方向,文章从船舶航行态势感知的概念、感知设备和感知信息处理及融合技术等3方面介绍了船舶航行态势感知技术的发展现状。在此基础上,就现阶段船舶航行态势感知所面临的信息深度挖掘不够、综合感知能力不强、评测体系缺乏的问题进行了讨论,最后对船舶航行态势感知的未来发展进行了展望。
期刊
进一步完善淫羊藿质量评价,提高淫羊藿质量标准。以6种8-异戊烯基黄酮苷作为指标成分,对4个品种、共24批次淫羊藿通过HPLC开展多指标定量指纹图谱的研究,并结合聚类分析(hierarchical clustering analysis,HCA)、主成分分析(principal component analysis,PCA)和正交偏最小二乘法判别分析(orthogonal partial least
期刊
重要空间管控界线划定是国土空间规划体系建设的基础性工作。本文通过对生态保护红线、基本农田保护区及城镇开发边界等“三条控制线”的内在关联和划定逻辑进行探讨和分析,厘清划定思路及数据基础,为管控界线划定和国土空间规划编制提供参考。
期刊
针对立体图像的多维影响因素和预测结果准确性不足的问题,提出一种基于卷积神经网络-支持向量回归(CNNSVR)的立体图像视觉感知客观评价模型。该模型将基于颜色的平面显著图和基于差异的视差图相结合,对其进行阈值分割,得到视觉感知潜在显著不适区域;然后进行特征提取,分别提取对比度、颜色、结构复杂度等全局特征和视差、纹理、空间频率等局部特征;最后采用将CNN和SVR相结合的方式构建多特征视觉感知客观评价模
期刊
高校教师职称评审政策是促进高校教师队伍建设的重要手段,新时期下,随着我国高等教育事业的快速发展,高校教师职称评审改革也逐步深入。教师职称评审权下放是高校教师职称评审改革的重要内容,其涉及教师职称评审主体、评审方式、评审策略等的改变,而从当前高校教师职称评审权下放运行实际看,还存在一些问题,所以要对此进行深入分析,并制订合理调整策略,以此推动高校教师职称评审权下放的良性运作。
期刊
从飞行试验角度而言,如何评价自主空中加受油能力,以及采用哪些关键指标进行评价是自主空中加受油试飞亟待解决的关键问题。文章从国内外空中加油相关标准要求出发,同时借鉴有人机空中加油的成功经验,分析了自主空中加油总体能力需求,提出了会合、编队、对接、加油及脱离等全过程关键评价指标,在数值仿真和硬件在回路两种环境下对评估方法进行了试验验证,最后对影响自主空中加油对接成功的关键因素进行了分析并提出了评价指标
期刊