空域无参考图像质量评价方法研究

来源 :武汉大学 | 被引量 : 1次 | 上传用户:a479676614
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动成像设备的快速增长,数字图像已经成为了信息表示和交互的重要载体。然而,数字图像在整个生存周期中的不同阶段都有可能造成不同程度的质量衰减。这些衰减将会导致视觉信息的损失,从而造成无法令观察者满意的感官体验,同时也会对后续的图像处理和分析步骤造成困难。图像质量的评价问题在大量的图像/视频处理和机器视觉应用上起到了至关重要的作用,包括图像压缩、传输、获取、显示、增强、去噪、分割、检测、照片分类等。图像的质量包括保真度和可懂度两方面,其中保真度测量了待测图像与标准图像之间的偏离情况;可懂度表示了人类或者机器能够从图像中获取相关信息的能力。图像质量评价一般分为主观评价和客观评价。主观评价的目标是通过设计实验来获取人类对图像的主观评价分数,而客观评价的目标是通过设计计算模型,从而能够精确和自动地预测与人类感知相关的失真图像的质量。相比于客观评价中的全参考和半参考图像质量评价,无参考图像质量评价是指在不知道任何关于参考图像信息的情况下能够对待测图像质量进行评价,这也是最具有挑战性和难度最大的客观评价方法。近年来,深度学习领域的蓬勃发展促使了机器视觉领域取得了许多令人瞩目的突破性成果,例如图像识别、图像分类、目标检测,目标跟踪、图像分割、图像超分辨率重建、图像去噪、图像质量评价等。深度学习大幅提高了图像质量评价领域的性能,极大的促进了该领域的发展,但是相比于传统的研究方法,深度学习的理论目前尚不完备,对其性能的分析基本只能从实验的角度进行验证。传统的研究方法模型简单、理论完备、生物学对应特性清楚、训练灵活、小样本训练的优点使其在该领域内仍然具有蓬勃的生命力。若能提取合适的符合人类视觉系统信息处理方法的特征,传统方法依然可以取得优良的性能。讨论了网络深度和卷积核个数对卷积神经网络(ConvolutionalNeuralNetwork,CNN)对框架性能的影响。考虑到人类视觉系统特性对深度学习方法的补充,本文首先提出了一种联合梯度信息与CNN的无参考图像质量评价算法。通过引入人类视觉系统的相关特性,例如对图像中的边缘和轮廓信息非常敏感,对原CNN框架进行了改进。通过计算分割后图像的梯度映射图,然后对图像小块内的梯度幅值进行求和,从而获得原始图像中各个小块的加权值。最后获得的图像质量分数,是由CNN框架获得的各个图像块的质量预测分数,乘以对应的小块加权值,最后由经过加权后得到的小块分数的均值表示原始图像的质量分数。本文提出的算法能够对图像中各个小块的图像质量进行校正,而不是仅仅对整副图像,通过联合梯度信息提高了图像评价的主客观一致性。其次,提出了基于CNN与支持向量回归(Support Vector Regression,SVR)混合模型的无参考图像质量评价算法。CNN框架具有优良的特征自学习的能力,而传统的人工设计特征通常是一个冗长和耗时的过程,并且这些特征的提取主要集中在变换域,很少直接从原始图像块进行提取。本文利用CNN框架作为特征提取器,然后用SVR替代了CNN框架中的全连接层,建立了质量敏感特征与图像主观评价分数之间的映射关系。实验结果表明,该混合模型能够提高图像质量评价的主客观一致性。再次,通过引入深度学习近几年提出的新技术,例如Dropout、局部相应归一化等,实验结果表明,新技术的引入提高了图像质量评价的主客观一致性。由于单一的图像质量预测并不能完全描述失真图像,而且对图像失真类型的判断,在实际的研究和工程实践中都有重要的意义。在此基础上,提出了同时预测图像质量与失真类型的多任务CNN框架。实验结果表明,所提出的多任务CNN框架能够同时预测图像的质量和所属的失真类型,并且相对于只预测图像质量的单任务CNN框架提高了主客观的一致性。同时,基于对人类视觉系统关于信息处理方式的研究,本文提出了符合视觉特性的多通道、多方向、多尺度的自然误差统计(NaturalDeviationStatistics,NDS)特征提取框架,通过对各通道下,不同方向和不同尺度下获得的误差映射图进行直方图统计,并利用非对称广义高斯分布(Asymmetric Generalized Gaussian Distribution,AGGD)模型拟合参数作为NDS特征,最后通过SVR学习所提取的NDS特征与图像主观评价分数之间的映射关系。实验结果表明,所提出的算法框架具有良好的图像质量评价的主客观一致性,并且具有高效的时间复杂度,能够满足实时系统的需求。最后,本文将所研究的无参考图像质量评价方法扩展到了实际的项目需求中。在实际的国防项目中,图像压缩检测系统中对不同压缩比图像的质量评价是衡量系统性能的一个关键性指标。传统的方法都是基于参考图像已知的情况下,直接采用经典的全参考图像质量评价的方法对其进行评估。本文在此基础上,扩展了传统的思路,在无法获取参考图像的情况下,采用了本文所研究的基于CNN框架和基于自然场景统计模型两类方法对其进行评价。实验结果表明,两类方法所学习的评价模型都具有很好的泛化能力,能够有效且准确的对原图和基于原图的不同压缩比情况下的图像进行评价。
其他文献
在对中国神话进行研究的外国学者中,倭纳的著作值得为我国史学界关注。倭纳是中国学家,19世纪末至20世纪初期在中国生活和工作近50年,曾任驻华英国公使馆的领事官。他的著述颇多
<正>习近平总书记在党的十九大报告中提出要"使人民获得感、幸福感、安全感更加充实、更有保障、更可持续",其中提到的"人民安全感"是党和政府的重要责任之一。"安全第一"历
项目名称:FOOD LOuVER项目地点:印度尼西亚雅加达项目面积:3122平方米主要材料:乙烯基地砖、带树皮的木质百叶、竹质百叶、玻璃百叶、烧面花岗岩墙面装饰、镜子等通过一个新
新课程所倡导的教育评价是推动课程改革深入发展的支点。它以评价标准的多维化,评价方法的多样化,评价主体的多元化,评价应注重其激励功能等核心特点,反映了当前教育评价的缺
近期以来是否发行中国存托凭证(CDR)已经成为财经界讨论的热点问题之一。本期我们推出的CDR专题,既有肯定CDR对我国资本市场的积极影响的观点,也有认为推出CDR将面临一系列问
在当今社会,经济快速发展,人们的工作压力越来越大,加班现象普遍存在,身心疲惫是一部分上班族的现状。忙碌的工作和生活,导致各种身体和精神的疾病发病率逐年上升。在办公环
新兴县地处山区,覆盖面积大,地理环境复杂,且接入的分布式小水电资源较为丰富,加上人均素质当量不高(0.79),运行和运维问题较为突出,供电可靠性距离国内一流差水平距较大(客
随着我国经济的发展和与国际设计界的接轨,设计中文化的地位越来越重要。现如今家居产品设计发展到一定阶段,文化也随之成为了一种需求。国际著名设计大师乔治·亚罗说过:“
为应对近期房地产市场出现的价格飙升、投资需求旺盛的情况,我国一线及主要二线城市密集出台了一系列政策,打压投机性需求,控制资产泡沫。本文借助福利经济学的理论,以成都为