基于深度学习的实时姿态识别与人物动画生成

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:petelau
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对人体进行姿态识别并在此基础上实现人物动画生成,是计算机图形学领域的重要研究内容,其首先以图像作为输入,提取其中的人体姿态,并转化为抽象的姿态数据结构,随后以转化得到的数据集为基础,在运行时根据输入产生需要的人物动画。在较低成本的设备上实现该目标的传统算法在精度上不尽人意,因此随着深度学习技术的发展,越来越多的研究者开始尝试使用深度神经网络实现这一任务,然而该任务依然面临精确度和速度等方面的挑战。本文以深度学习实现姿态识别和人物动画生成为研究课题,并着重研究了如何构筑合理的神经网络结构以达成高性能、高准确度的目标,并进一步阐述了如何在对运行速度要求较高的动画生成部分进行特定性加速。本文的主要创新体现在针对2D和3D姿态提取任务设计的2个全新的神经网络结构,以及对应的面向GPU的加速方案。并通过和相关工作的比较,证实了本文所述设计的实际效果。本文的主要工作如下:1.基于深度卷积神经网络实现的实时2D姿态识别系统。该系统能够对输入图像中的多人的姿态进行识别,并输出2D的标记点。整个系统能够在384的分辨率下在主流GPU上达到实时的运行速度2.进一步地,在2D姿态识别系统的设计思想基础上,进一步设计了基于单目的3D姿态估计系统。从而挑战了单目3D姿态估计极为困难的传统观念。并也能在384的分辨率下,达到实时的运行速度。3.在3D姿态估计获得的3D姿态数据基础上,利用神经网络进行人物的动画生成。为了达到实时的运行速度,通过对网络结构、硬件体系结构的分析,在原本针对CPU的工作基础上实现了GPU上网络结构的针对性加速。进一步地,我们将上述系统在姿态识别数据集和不同级别的硬件上对该系统进行了测试,其中2D姿态检测系统能够在主流消费级硬件上达到60 fps以上的速度,3D姿态估计系统能够达到24 fps以上的速度,且平均误差仅为110 mm,实时动画生成系统能够达到30 fps以上的速度。实验结果表明,本文所述的基于深度学习的姿态识别和动画生成系统达到了设定的速度和精度目标,证明了深度学习技术在计算机图形学领域的巨大潜力。
其他文献
针对日益突出的噪声污染问题,以风机室的降噪处理为例,较详细地介绍了风机减振结构的设计方法、风机吸、排风口消声结构的设计方法和风机室整体的减振、隔声和消声结构的设计
近年来,环境污染日趋严重,生态环境的恶化已严重威胁着人类的生存,环境保护已成为全球共同关注的焦点。新课程标准也指出:要培养学生逐步树立珍惜资源、爱护环境、合理使用化学物
火灾、有毒气体泄漏、可燃气体爆炸是石化行业面临的主要安全问题。火气系统FGS从属于安全仪表系统,处于抑制缓解保护层,FGS系统可检测工艺中有害物质的容纳失效LOC问题,并启
西方长篇小说是人类文学史上最为重要的艺术现象之一,国内已有不少学者从不同角度进行了研究,但以往学术界对其研究稍显孤立、零散。刘建军教授另辟蹊径,选取了西方长篇小说
朝鲜大同郡某钛铁矿矿砂主要铁矿物为钛铁矿,少量为磁铁矿和褐铁矿。试验对溜槽重选,溜槽重选粗精矿磨矿一摇床重选、原矿分级重选等工艺流程进行了试验研究,最后确定采用原矿分
为了准确评估喀斯特森林生物量,以青冈栎黄樟群落中罗伞为研究对象,采用回归模型估测法,从含水率、生物量时空异质性、生物量模型拟合3个方面进行生物量研究。结果表明:罗伞树
通过对山东临沂市农村土地流转成功实践的调查,分析了当前制约土地流转的一些体制机制方面的因素,提出了完善家庭联产承包责任制,建立土地使用权流转机制,大力发展农业产业化,打破
习近平总书记在党的十九大报告中提出,精准脱贫攻坚战作为决胜全面建成小康社会的三大攻坚战之一,其成果要经得起历史的检验,同时指出实施乡村振兴战略,是解决好“三农”问题
学习的迁移现象早为人们所熟悉,在体育教学中,采用各种手段促进迁移,对提高教学质量有重大作用,那么如何利用迁移效应提高教学效果呢?一、合理制定教学计划教学内容安排不当,
目的:本研究通过经颅多普勒超声(transcranial doppler,TCD)/经颅彩色多普勒超声(transcranial color code sonography,TCCS)检测患者患侧、健侧大脑前动脉(anterior cerebral artery,ACA)及大脑后动脉(posterior cerebral artery,PCA)的平均流速变化情况来反应软脑膜侧支(leptomeni