基于深度学习的人体动作捕捉研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:good2009good
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体动作捕捉技术一直是计算机视觉和计算机图形学研究的热点之一,这项技术被广泛应用于机器人、虚拟现实、影视动画、步态康复和运动分析等各项领域。现有的动作捕捉方法大多数都需要为实验者佩戴相关的动作传感器,设备昂贵并且对采集的环境有较高的要求;其它的一些方法则是利用数据集驱动人体建模完成三维动作的重建,这种方法过于依赖数据集的特征,扩展性较低。因此本论文提出通过深度学习和双目立体视觉相结合的方法实现人体动作的捕捉。首先使用ZED相机所拍摄的图片作为输入源,然后采用深度学习Mask R-CNN为基本框架实现人体动作二维姿态检测,接着对双目立体视觉获取人体骨架关节点之间的映射关系进行了研究,通过双目相机标定,视差原理以及关节点的立体匹配获取人体关节点的三维信息,最后参考人体骨架的链接方式和SCAPE模型等人体建模技术进行人体动作的三维重建。本文的主要研究成果及创新点如下:(1)本文采用了深度学习算法对采集到的图像进行人体二维关节点检测,避免了传统动作捕捉方法中因穿戴设备的束缚和环境条件限制带来的不便。由于深度学习算法对计算机配置要求高,并且需要训练庞大的数据集,因此提出了一种基于迁移学习下的Mask R-CNN深度学习算法进行人体二维关节点的检测。与传统方法相比,此方法可以实现在小样本数据集下较准确的对目标二维关节点进行检测,准确率高。(2)对于人体动作三维骨架的重建,提出将深度学习算法和双目立体视觉相结合,在获取人体二维姿态信息的基础上利用立体匹配和双目视差原理恢复人体骨架关节点的三维信息。针对获取的关节点信息可能存在一定的误差问题,进行了关键点匹配算法的改进,提出一种基于特征约束的双目局部匹配算法,提高了关节特征点的匹配精度,为人体三维动作重建提供了基础。(3)分析并搭建了基于深度学习和双目立体视觉相结合的动作捕捉系统。该系统完成了图像获取、二维关节点检测、双目校正、立体匹配和三维关节点坐标的获取,最后通过人体骨架的链接方式和人体动作建模的相关技术实现了人体动作的捕捉和三维重建。通过实验结果和数据分析可以得出二维关节点的检测和三维关节点信息的提取在一定程度上均可以满足人体三维动作重建要求。同时对动作捕捉系统的搭建和人体动作的三维重建结果也比较理想,实验误差在3%左右,证明了本文所提出的方法具有一定的可行性和应用前景。
其他文献
车辆之间的相互通信能够有效的缓解交通堵塞,避免道路交通事故的发生。随着车辆保有量呈爆发式上升,车载通信业务的种类越来越多,对服务质量的要求越来越高,尤其是对时延服务质量(quality of service,QoS)有着较为严苛要求的道路安全信息相关业务,这些都对车联网的性能提出了挑战。现有车联网大多是基于专用短程通信技术(Dedicated Short Range Communication,D
在长距离自由空间光(FSO)通信中,信号强度会因为受到湍流、散射、吸收等因素的影响而衰减,而大气湍流是最重要的因素。大气湍流会干扰光束的传输,降低光通信系统的性能,最终影响通信质量。除了采用传统的差错控制技术以外,寻求优异的信道编译码技术并研究能对抗长延时、高误码的数据传输机制,对提高自由空间光通信的可靠传输能力具有重要意义。数字喷泉码是一种没有固定编码速率约束的编码方式,它不需要确知信道状态便可
近年来,利用计算机控制技术、人工智能技术和通信技术可以实现更好的交通容量和交通安全。智能驾驶系统中的车道偏离预警系统、智能巡航控制、车辆碰撞预警系统等功能,提高了车辆行驶的智能性,大大地减少交通事故发生,提高了交通系统的安全性。视觉感知是智能驾驶系统关键的技术之一,智能驾驶车辆所做的所有重要决策都依赖于对周围环境的视觉感知。基于感知结果,智能系统才可以进一步做出控制和操纵车辆的决策。本文主要利用机
惠更斯超表面是一种新型超表面,与其他的超表面相比,惠更斯超表面在结构构建上包含电谐振和磁谐振两部分,通过调节电谐振和磁谐振的结构参数,惠更斯超表面可以实现对电场和磁场的单独调控,从而实现对电磁波的自由调控。由于惠更斯超表面对电磁波出色的调控能力,因此广泛用于平板透镜、极化转换器、成像系统等器件的设计。本文围绕惠更斯超表面的电磁特性及其在天线上的应用展开研究,详细分析了惠更斯超表面的工作原理,并且设
随着物联网(Internet of Things,Io T)的快速发展与大规模应用,单一的传统通信技术已经无法满足物联网时代的需求,有针对性地使用两种或多种技术的组合,作为智能终端在物联网中的通信技术已成为必然。本课题将同时使用可见光通信(Visible Light Communication,VLC)与电力线通信(Power Line Communication,PLC)作为物联网的通信技术,以
近些年,携带螺旋相位波前的涡旋电磁波引起了各国科研人员的极大兴趣。由于涡旋电磁波具有螺旋相位的波前分布特点,使得它在通信传输、量子编码、粒子操纵、光学成像以及光刻技术等领域具有广阔应用前景,尤其在通信领域应用潜力巨大。由于轨道角动量是描述电磁波物理属性的新维度,因此如果对电磁波的轨道角动量进行单独编码或者作为载波携带信息,再结合传统的波分复用、正交幅度技术以及极化分复用等复用技术,可以极大提高通信
全球卫星导航系统(Global Navigation Satellite System,GNSS)作为一个国家现代智能信息化发展的重要基础设施。在近40年来,卫星导航在国家国防安全、社会经济发展以及人民日常生产生活等领域都发挥着越来越重要的作用。GNSS导航信号从卫星传到用户两万公里左右的传输过程中存在着复杂的空间电磁环境,且由于系统脆弱性,系统突发事故等,为了保证系统信号的可靠安全,需要对卫星信
通常,消费者在线购物时会根据商品的专有名词以及一些属性信息对其进行检索,用户在浏览商品时也会关注于商品属性方面的信息特征,因此分析出商品信息中关于特定属性方面的观点信息对提升商品的服务与质量是有必要的。细粒度的用户观点对商品的认知具有引导作用,可以影响消费者的购物决策,同时也为企业了解产品的属性特征提供了必要的信息反馈,具有重要的参考价值。本文的主要工作围绕着商品的观点分析展开,意旨分析出更详细、
目前,对海量数据的研究主要集中在对数据的存储、检索、挖掘和分析等方面,并且基本上都是基于某一特定的应用场景以及特定的数据源而进行的研究。互联网飞速发展和广泛应用的今天,短时间内就会有大量的、各种各样的数据产生,这些数据有表格、文本、音频、视频等,数据的存储格式也各不相同、各有特点。现实中,也会因为某种需要,要求对这些多源异构数据进行集中统一存储管理,而同源同构数据下的技术方案和算法并不能直接用于对
近年来,随着我国高等教育的迅猛发展,大学毕业生也日益增多。尽管就业岗位的数量在不断增加,但我国劳动力市场的供需失配的结构性问题依然非常严重。如今,随着互联网的普及,网络招聘成为企业招聘人才的主流方式。招聘信息中列出的技能词为实时、准确地了解企业对人才的需求提供了可能。本文将技能词抽取任务转化为序列标注问题,借鉴了命名实体识别或者术语抽取的方法。然而,由于中文的语义和上下文情形的复杂性以及手工标注成