基于深度学习的人体关键点检测与应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:guoxiuguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习和移动互联网的发展,越来越多的深度学习应用开始部署到移动端设备上为人们提供服务。而在这些应用之中,对图像中人物的姿态动作分析是人机交互的重点,因而人体关键点检测作为一项关键技术成为研究的热点。在当前的人体关键点检测方法中,往往由于注重提升模型的准确度而设计更加复杂的网络结构,因而通常存在模型计算消耗大、占用空间多的问题。但移动端设备由于算力和存储有限,因而这类模型难以部署到设备上使用。本论文针对人体关键点检测问题,以将模型最终部署到移动端设备为目标,致力于研究能够平衡计算消耗与模型准确度、能够在移动端部署使用的人体关键点检测模型,并在其基础上实现多种场景的人体动作相似度分析算法功能。主要工作和创新成果如下:1.从优化网络结构本身出发,基于OpenPose修改并优化得到了一种平衡计算消耗与模型准确度的人体关键点检测网络。原始的OpenPose网络分为特征提取、检测优化(Refine)两个模块,本论文分别对其进行了卷积模块的修改、Refine模块的结构重新设计。最终得到的网络模型计算量(GFLOPs)仅为原始网络的四十分之一,模型的准确度仅比原始模型下降约6个百分点,模型文件大小仅8MB,且能够较好的处理图片中多人物肢体重叠、人物数量大且画面复杂的情况。在得到优化的网络模型后,具备了在移动端运行的计算消耗低、存储消耗小的特征。基于移动端深度学习框架TensorFlow Lite将模型部署到安卓设备上。最终的模型准确度较好,且作为多人人体关键点检测模型,在搭载骁龙855的安卓设备上,使用GPU进行推理,达到18fps的帧率效果,具有较好的实时性。2.针对实际应用中,需要基于图像中的人体骨骼关键点,用以分析不同人物之间的动作相似度情况。本论文基于余弦相似度和动态时间规整方法,提出动作相似度分析算法,针对健身场景,能够实现对健身动作的次数进行统计;针对舞蹈场景,能够对双人舞蹈的视频分析两个人物的舞蹈动作相似情况,并阶段分析部分区间内差别较大的关节角,为动作的学习与改进提供参考依据。
其他文献
目的:探讨胃食道插管导引管在腹腔镜胆囊切除术中应用的可行性。方法:86例拟行腹腔镜胆囊切除术的患者,根据胃管插入法的不同被随机分成实验组和对照组,每组43例。对照组采用传统
<正> 目前,在我国有来自多方面的机构执行着工程建设的质量控制工作,主要包括政府的各级质量监督站,工程监理以及设计施工企业的质量部门等。质量监督站是受政府委托的质量监
在小学语文教学中,若要达到最佳教学效果,走向有效教学,既需要一定教具的辅助,也需要多样的教学方法,这样,才能吸引学生,引发他们的学习情趣,让他们在全新体验中满足不同心理
目的:观察雷贝拉唑联合莫沙必利治疗反流性食管炎的疗效.方法:将124例经内镜检查确诊的反流性食管炎患者随机分为治疗组(62例)和对照组(62例).治疗组:雷贝拉唑10 mg,每日1次,
目的:建立了高效液相色谱法检查天麻素注射液中的有关物质。色谱柱为C18(4.6&#215;250mm,5μm),流动相为甲醇-水(1:10),流速为1.0ml/min,检测波长为220nm。结果:空白溶液不干扰有关物质检
1病例患者34岁,孕2产1,因停经9周,自觉腹部迅速增大一个月,急性腹痛二天。于2007年4月6日急诊入院。末次月经2007年2月2日,停经后有轻微早孕反应,停经40天尿妊娠试验(+),B超检查提示:单
<正> 自90年代以来,国外工程机械进入了一个新的发展时期,在广泛应用新技术的同时,不断涌现出新结构和新产品。继完成提高整机可靠性任务之后,技术发展的重点在于增加产品的
目的:探讨复方樟柳碱注射液治疗缺血性视神经病变的疗效。方法:32例缺血性视神经病变患者给予复方樟柳碱注射液2ml患眼颞浅动脉旁皮下注射,进行相应的护理。结果:显效为24例28只
妇女病是已婚妇女的常见病、多发病,并且与年龄、职业等有很大关系;妇女病的普查普治是以预防为主,改善妇女生活质量的一个至关重要的环节。为了解我州妇女的健康状况,现将2007—
<正> 新中国50年来的住宅建设无疑是一段可圈可点的发展过程。对其稍加回顾可以发现一个有趣的事实,每隔一段时间,住宅设计中就会出现一些平面形式,它们广为流行,久被沿用,频