基于单双目视觉特性及深度学习的立体图像质量评价方法研究

来源 :青岛大学 | 被引量 : 0次 | 上传用户:cucumber
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的发展和科技的进步,越来越多的3D图像出现在人们的视野中,但这些图像会受采集、传输、处理、存储及压缩等一系列因素的影响,导致其在显示端出现失真,阻碍人们认识客观世界。在立体图像质量评价领域,如何客观有效地评价立体图像质量已成为一项具有挑战性的研究课题。近年来,人类视觉系统(Human Visual System,HVS)的研究在生物学领域内已经取得了重大突破,这也促进了模拟双目视觉特性的立体图像质量评价模型的研究。本文基于已有的研究成果,提出了两种新的基于双目视觉特性的立体图像质量评价算法,总结如下:(1)提出了一种基于单双目视觉特征的全参考立体图像质量评价方法。针对区域划分问题,本文提出了一种基于视差矩阵和欧氏距离的区域分割方法。通过使用该方法,将失真图像与参考图像划分为遮挡区域和非遮挡区域,在遮挡区域使用JND(Just Noticeable Difference)模型模拟单目视觉,非遮挡区域使用BJND(Binocular JND)模型模拟双目视觉,然后使用基于全局特征的融合方法(Pooling Strategy of Global Edges,PSGE)得到单双目视觉特征质量分数。此外,对于失真图像和参考图像提取局部相位和局部幅度特征,并将其融合为局部特征质量分数。最后,将单双目视觉特征质量分数与局部特征质量分数融合得到最终质量评估分数。在LIVE 3D数据库上的实验结果表明,本文所提方法的评价结果与主观分数具有较高的一致性,也充分说明本算法能有效地模拟人类视觉系统进行图像质量评价;(2)提出了一种基于双目视觉特征的无参考立体图像质量评价算法。针对HVS的双目交互特征,本文提出了一种基于分组卷积的双目交互模块(Binocular Interaction Module,BIM)来模拟左右眼交互过程。同时,本文提出了一种双目融合模块(Binocular Fusion Module,BFM)对HVS的双目融合特征进行模拟。本算法首先使用2个卷积层提取HVS的低级视觉特征,然后使用4个双目交互模块模拟在V2-V5区域的双目交互过程,针对高于V5的区域,使用双目融合模块模拟人脑中的视觉融合过程,并使用两个全连接层获得局部质量评估分数。最后将局部质量分数融合为立体图像整体的评价分数。实验结果表明,提出的双目交互模块和双目融合模块能有效的模拟人类视觉系统的不同双目特征,并且本算法与主观评价结果具有较高的一致性。
其他文献
本论文将自适应反步控制与滑模变结构控制相结合,增强了异步电机控制系统的鲁棒性。针对负载未知与电机参数摄动的情况,设计了滑模转子磁链观测器、负载观测器以及扰动观测器。同时,为提高异步电机轻载时的运行效率,论文给出了异步电机的损耗模型,并设计了一种基于转速误差的转子磁链平滑切换策略,实现了异步电机的效率优化。总的研究工作如下:(1)阐述了论文的研究背景、意义及国内外异步电机调速系统的研究现状,介绍了论
切换系统作为一类特殊的混杂系统,由不同的子系统和指定某个子系统激活的切换信号组成。近些年来,切换系统引起了学者们的广泛关注,这主要可归结为两方面原因:第一,切换系统为诸如航空控制系统、机械臂控制系统、网络控制系统等物理系统的数学建模提供了一个统一的框架;第二,系统在多个控制器之间进行切换为处理具有不确定性和高度复杂的系统提供了一种有效的机制。然而,切换系统的复杂性不仅仅只是单一子系统性质的叠加,由
非线性系统广泛存在于生物医学、工业工程、社会经济等诸多领域。非线性系统的辨识方法一直是国内外辨识界学者们研究的热门方向。目前,我们已经具备完善的经典的传统辨识方法,可以在一定程度上克服传统估计方法的缺点,但这些算法中还有一些可以提出改进的地方。本文针对单输入单输出模块化Hammerstein非线性系统的参数辨识方法进行深入研究,对常见的三种Hammerstein模型设计了不同的改进粒子群(PSO)
近年来,多智能体系统一致性问题受到许多学者们的关注。一致性问题是研究如何设计多智能体系统中个体之间的作用方式,即一致性协议,使得所有智能体的状态能够达到某个共同的状态。随着科技不断地发展与进步,系统对收敛速度的要求越来越高,收敛速度已成为一致性协议评价过程中需要考虑的重要指标。为了提高系统的收敛速度,学者们研究了有限时间收敛的一致性协议设计问题。研究表明,有限时间一致性不仅具有相对较快的收敛速度,
在多智能体的相关研究中,多智能体的能控性是研究最热点的方向之一。做为当代人工智能的发展重点,解决好这一问题有利于推动各领域的智能化发展。本文主要基于领导者-跟随者数学模型,借助图论、矩阵理论和能控性判据等理论知识,利用等价划分研究协同网络和对抗网络下多智能体系统的能控性问题。主要的研究内容分为以下几部分:首先,介绍了多智能体系统的研究背景和意义,分析了多智能体系统能控性的研究现状,详细阐述了研究多
永磁同步电机(Permanent Magnet Synchronous Motors,PMSMs)以其高效率和高转矩惯性比等优点在车辆、机床和机器人等工业设备领域得到了广泛的应用。PMSMs具有多变量、强耦合的特性,在实际的工业应用中易受电机参数变化和外部转矩扰动等不确定因素的影响,传统的控制方法在暂态响应阶段难以获得较好的控制性能。此外,PMSMs转子角速度和定子电流等状态量应在安全的约束范围内
现代工业对系统的估计与控制提出了越来越高的要求。在对实际系统进行建模研究的过程中,模型误差不可避免且形式复杂多样,这导致时滞系统鲁棒状态估计理论研究成果存在局限性大或研究方式复杂的问题。同时,时滞系统的多传感器鲁棒融合技术方面也因此存在着较多问题需要被解决。因此,探究一种局限性小的时滞鲁棒状态估计器并将其推广到多传感器信息融合的工作中是十分必要的。本文提出了一种允许模型误差以任意形式影响系统参数的
科学研究中一个重要的原理是:在多数杂乱无序的事物内部总有一些简单的部位发挥着重要的作用。在数据处理、图像识别、人工智能、机器学习等方面也是如此。随着计算机技术和互联网的大力发展,数据存储技术的提升,原始数据规模变得越来越大,与此同时如何简洁明了地表示数据是目前研究的目标。实验表明多维数据通过合适的降维,减少原始数据的维度,最终提取数据的主要特征,是目前最有效的方法。在目前的研究中,非负矩阵分解在数
随着科技的进步以及产业的进一步升级,具有视觉感知的机械臂也一直是机器人领域中的研究热点。本文针对视觉引导的机械臂控制系统展开研究,利用相机采集到的图像特征信息对机械臂运动实现反馈控制,着重研究了雅可比矩阵在线估计方法及关节控制方法,论文的主要工作及创新点可总结为以下几个部分:1.系统性阐述了雅可比矩阵在线估计方法及关节控制方法发展状况,对各视觉控制方式存在的优缺点进行了探讨,研究机械臂在空间中的位
阻抗控制具有计算量较少,抗扰动能力强及易于进行力控制等优点,成为多关节机械臂力/位控制普遍运用的方法。然而,多关节机械臂是一个具有强耦合、模型参数难以精确获得和未知外部干扰多的高度非线性系统,面对这些问题设计有效的控制器使多关节机械臂系统在未知外部环境中获得较好的位置跟踪效果和保证不错的阻抗控制性能,从而避免多关节机械臂与接触对象产生较大的碰撞力而造成损坏,这是一项具有现实研究意义的工作。本文针对