基于点云注意力模型的手部姿态估计方法研究

来源 :大连理工大学 | 被引量 : 2次 | 上传用户:tuwei0164
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度相机的普及和发展,实时三维手部姿态估计成为了研究热点。手部姿态估计可以在人机交互、虚拟现实和增强现实等应用中发挥重要的作用。随着神经网络在计算机视觉中取得的成功,以及大型手势数据集的出现,基于卷积网络的手部姿态估计方法成为了研究的热点。由于投影成像的过程中存在着透视失真,导致二维深度图中的手部形状会扭曲,造成信息的损失;而三维卷积的时间复杂度和空间复杂度较大,不适用于一些实时应用中。因此,本文以点云数据作为神经网络的输入,进行三维手部姿态估计。本文致力于研究基于点云注意力模型的手部姿态估计方法。本文主要的研究内容可以分为以下几个部分:(1)给出了一种基于三维空间注意力模型的手部姿态估计方法。该方法利用点云的局部结构信息构建了一个优化网络,首先引入三维空间注意力模型,提取手部感兴趣区域的特征;然后根据手部的几何约束将关节特征分为五个部分,用来分别表示手的五根手指;并根据手指关节间的相关性给出了一个分层循环模块,用以细化每个手指的关节特征;最后将所有特征聚合,回归出所有关节的坐标。基于三维空间注意力模型的手部姿态估计方法可以有效的提升关节的回归精度,并具有较好的实时性。(2)为了更好的提取点云的特征,给出了一种基于动态图卷积的手部姿态估计方法。首先设计了一个基于注意力模型的边缘卷积模块,利用所有点对之间的相对位置关系构建点的局部邻域图,有效的利用了点云数据的空间信息;然后,不断利用此模块提取点云的高维特征,并动态更新点云的局部邻域图,将点的高维邻域特征聚集起来。该方法更好的利用了点的局部结构信息,从而较为准确的估计出手部关节的三维坐标。(3)为了验证手势估计方法的有效性,本文设计并实现了一个通过手势控制无人机运动的人机交互应用。该实验通过深度传感器获取控制人员的手势,通过分析手势在相机前的动态轨迹,识别出轨迹所对应的无人机命令,最后发送相应的运动指令给无人机,实现用手势控制无人机飞行的目的。本文在多个公开的数据集上进行了大量的实验,对给出方法中的各个模块进行了评估并与其他方法进行比较,实验结果验证了这些方法的有效性。
其他文献
随着我国领导人越来越重视人民群众的看病难问题,利民的医疗政策不断颁布,而十三五医改规划的发布,表明今年将是医疗领域'出头露面'的一年,新医改下我们要如何提升妇
<正> (一) 《高层民用建筑设计防火规范》GBJ45-82、《自动喷水灭火系统设计规范》。GBJ84-85和规范制订部门所作《高层建筑消防给水设计问题解答》(1987.3蒋永琨,下简称《解
通过中试规模试验系统 ,研究了大型微污染水源水生物接触氧化处理工程 (渠道式 )中生化池的排泥方式。结果表明 ,在生化池近底流速超过 0 2 0m/s时 ,可保证泥沙不会在池底
目的:探讨甲沟炎的发病原因。方法,根据我院甲沟炎患者就医的病情分析。制定有效治疗方案。甲沟炎虽不是大病,但在临床较多见,影响正常的工作、学习及生活。结论:认真对待甲
当前保障房建设存在的问题、矛盾很多,根源于行政化的政府保障房模式,具体方法的改进已经不能解决问题,需要从基本思路上重新思考。我们提出构建"商保融合"的新型市场化保障
随着近代石油工业的迅猛发展,石油勘探开发的重点不得不转向某些开发难度较大的低渗油气藏、非常规油气藏等,且所占比例呈日益增长的趋势。而且随着未来石油勘探程度的逐步加
《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》的核心内容可以概括为"1+5+50"。所谓"1",就是要全面建成小康社会,今后五年党和国家各项任务,归结起来就是夺
随着经济的快速发展,工业化程度的提高,我国水资源污染越来越严重,水体中被检测出的有机污染物种类和含量也越来越多,这类物质存在于环境中已严重威胁到人类健康,其中内分泌
铜绿微囊藻是蓝藻水华过程中的典型优势藻种。通常认为,降低氮磷负荷是控制铜绿微囊藻过度生长的主要手段,但很多工程实践也发现,在控制了氮磷负荷后,水华现象依旧频发。因此
西安鼓乐属于中国传统器乐中的吹打乐,自古以来流行于西安地区,其产生年代,无具体记载。2009年被联合国教科文组织列入《人类非物质文化遗产代表作名录》。西安鼓乐目前有六个百年老社,文章将选择其中的两个乐社作为田野考察的对象,即何家营鼓乐社和东仓鼓乐社。由于两个乐社间存在很大的不同,因此,本文通过对两个乐社的生存背景、音乐本体、乐社成员、发展现状等方面进行比较研究。文章分为绪论、何家营鼓乐社与东仓鼓乐