【摘 要】
：
人手是人机交互领域的重要研究对象,而基于视觉的手部姿态估计是虚拟现实、手语识别、机械手智能操作等人机交互应用的重要环节。近年来,随着深度学习和神经网络技术的快速发展,涌现出大量优秀的基于视觉的手部姿态估计方法。但是在手物交互的情境下,由于物体的遮挡问题,会加深手部姿态的模糊性,影响手部姿态估计结果的精准度。目前手物交互情境下的手部姿态估计方法仍有提升的空间,有必要对此展开研究。针对物体的遮挡问题,
论文部分内容阅读
人手是人机交互领域的重要研究对象,而基于视觉的手部姿态估计是虚拟现实、手语识别、机械手智能操作等人机交互应用的重要环节。近年来,随着深度学习和神经网络技术的快速发展,涌现出大量优秀的基于视觉的手部姿态估计方法。但是在手物交互的情境下,由于物体的遮挡问题,会加深手部姿态的模糊性,影响手部姿态估计结果的精准度。目前手物交互情境下的手部姿态估计方法仍有提升的空间,有必要对此展开研究。针对物体的遮挡问题,本文首次开展了从真实手物交互场景单视角彩色图像中估计人手完整轮廓的研究,并以完整轮廓信息为引导,设计出一种抗遮挡的手部姿态估计方法,具体的研究内容可以概括为以下两个方面:（1）遮挡情况下完整手部轮廓估计。鉴于手部的2D轮廓信息对手部姿态估计具有重要的引导作用,本文首次开展了从真实手物交互场景单视角彩色图像中估计人手完整轮廓的研究,目的在于减小遮挡影响,为后续手部姿态估计提供更有效的先验信息。人手是具有高自由度的非刚体目标,传统的刚体目标完整轮廓估计方法并不适用。本文根据人类的视觉特点和人手的生理结构,提出一种基于2D骨架先验的人手完整轮廓估计模型。该模型估计人手的2D关键点作为形状先验信息,指导模型以可见区域为基础补全人手的完整轮廓。在公开的真实手物交互数据集上,本文方法估计出来的手部完整轮廓优于传统的完整轮廓估计方法。为了进一步证明该方法的有效性和泛用性,本文在公开的人体数据集上进行实验,在合成和真实测试集上的结果也均优于现有的其他方法。（2）手物交互场景下的3D手部姿态估计。本文结合手部可见部分的纹理信息和完整手部轮廓线索,重建完整手部彩色图像,实现去除物体遮挡的目的。基于重建的完整手部彩色图像,结合人手关节点的生理结构特点,本文采用改进的深度变分自编码器提取彩色图像的多尺度特征,分层估计手部的3D关节点坐标。实验表明,本文的完整手部重建方法可以重建出完整、清晰、去除物体和背景的纯手部彩色图像,视觉上逼近人手网格模型渲染出来的手部彩色图像。以重建的完整手部彩色图像为输入,可以得到更为合理的3D手部姿态,精度优于以原手物交互图像为输入的手部姿态估计结果,证明了本文提出的抗遮挡手部姿态估计方法的有效性。
其他文献
遥感图像目标识别是一种图像级的任务,目的是分辨遥感图像中物体的类别,在军事安全、海上交通等方面应用广泛。近年来,深度卷积网络在遥感图像识别任务中表现优异,相对于传统方法展现出巨大优势。目前,深度学习在遥感图像目标识别领域主要的研究方式为利用注意力机制获取辨识性特征或是加入检测、分割等子网络定位识别重点区域。然而,多数遥感图像目标识别研究仅适用于高分辨率遥感图像。针对低分辨率遥感图像目标识别准确度较
随着资源需求的日益增加,世界各国愈发重视海洋资源的勘探与利用。水下无线传感器网络（Underwater Wireless Sensor Network,UWSN）作为开发利用海洋的重要技术手段之一,受到了学界和业界的广泛关注。但是,目前对水下无线传感器网络的研究仍面临诸多挑战,例如,水下传感器网络多功能节点的设计、网络节点的部署算法等。本论文围绕水下无线传感器网络的移动节点部署方法和水下多媒体信息
显著性目标检测作为计算机视觉领域中的一项重要任务,对于图像高层语义的理解具备重要意义,为各类图像处理和计算机视觉相关任务提供了必要的先验知识。作为像素级图像分割任务,显著性目标检测非常依赖高质量、大规模的像素级标签作为数据支撑,其获取往往费时费力、代价高昂。因此,基于标注高效的图像级标签的弱监督学习近年来受到了广泛关注。现有工作大多关注于如何获取高质量的伪标签,而忽略了伪标签中广泛存在的噪声对于显
虹膜识别使用人眼图像中虹膜区域丰富的纹理信息进行用户身份识别,是目前最安全、使用最广泛的生物识别技术之一。为了提升虹膜识别技术的性能,本文设计了基于深度学习模型的虹膜定位和识别方法,分别从虹膜定位、虹膜识别以及模型轻量化三个方面展开研究。首先,与现有的使用标准圆形拟合虹膜内外轮廓的虹膜定位方法不同,为了缓解标准圆形框无法准确定位变形虹膜的问题,本文设计了一个基于旋转椭圆框的虹膜定位模型,该模型在旋
随着经济、科技和医疗水平的快速发展,社会人口老龄化愈发严重,老年群体的健康问题也随之凸显。跌倒已经成为老年群体意外伤害死亡的主要原因之一,若能及时对跌倒进行检测,则可以为救援提供宝贵的时间先机。本文基于计算机视觉技术,分别从人体的姿态建模和动作的时序建模两方面入手,充分挖掘了人体的姿态信息和动作的时序特征,提高了跌倒检测的准确率。首先,在姿态建模方面,现有的跌倒检测方法通常采用人体骨架来表征姿态。
显著性目标检测目的是识别出图像中最吸引人的对象或区域,是计算机视觉领域的重要任务。根据输入数据的类型,现有的显著性目标检测算法可以分为3类:RGB、RGB-D以及光场方法。与RGB以及RGB-D数据相比,光场数据包含丰富的场景信息,能够满足困难场景的信息需求。近年来,深度卷积神经网络的发展取代了传统基于手工特征的算法,显著提高了光场显著性目标检测的性能。然而实际场景中,较高的光场数据获取成本、极为
深度伪造技术的出现和发展使得视频内容的真实性无法得到保证,同时深度伪造内容的迅速传播和受到的广泛关注使其带来的负面影响和潜在威胁日渐严重。因此,深度伪造检测技术的研究对个人隐私的保护和社会信任体系的维护都有着极其重要的意义。本文的研究内容是面向不同质量的深度伪造检测。现有的检测方法在面向经过压缩的深度伪造图像和视频时,检测准确率会出现明显的下降。本文将检测不同程度压缩率的深度伪造图像和视频定义为不
人群计数任务是指对图像中的人数进行准确估计,在交通控制、安全监测和环境研究等方面有很高的应用价值。近年来,研究者们对基于深度卷积神经网络的人群计数方法进行了深入研究,人群计数模型的性能越来越优异。然而,人群计数任务的泛化性问题却研究较少,不具备泛化性的人群计数方法的应用范围十分受限。基于上述研究背景,本文对人群计数任务的泛化性问题进行探索,并提出了人群计数的泛化性方法。本文完成的主要工作如下:（1
手部姿态与形状估计技术在人机交互、增强现实、虚拟现实、智能机器人等领域具有广泛的应用。近些年,随着深度学习的迅猛发展,涌现出大量基于计算机视觉的手部姿态与形状估计方法。尽管这些方法已经取得较高的估计精度,但是它们通常需要借助大量含有3D标签的数据进行训练,而3D标签的获取需要消耗大量的人力成本,因此研究不依赖于3D标签数据的手部姿态与形状的弱监督估计方法是十分必要的。为了减轻网络对3D标签的依赖,
舰船检测在海洋环境监测与港口安全保障中起着至关重要的作用,而基于传统光学图像的方法易受光照与天气条件影响。合成孔径雷达（Synthetic Aperture Radar,SAR）图像凭借其全天时、全天候的优势,成为舰船检测的重要数据源。随着机器学习等相关领域的发展,SAR图像舰船检测方法的性能不断提高。然而,近岸区域作为各个领域的重点关注区域,其舰船检测仍存在诸多亟需解决的问题。一方面,由于近岸区