论文部分内容阅读
随着深度学习和移动互联网的发展,越来越多的深度学习应用开始部署到移动端设备上为人们提供服务。而在这些应用之中,对图像中人物的姿态动作分析是人机交互的重点,因而人体关键点检测作为一项关键技术成为研究的热点。在当前的人体关键点检测方法中,往往由于注重提升模型的准确度而设计更加复杂的网络结构,因而通常存在模型计算消耗大、占用空间多的问题。但移动端设备由于算力和存储有限,因而这类模型难以部署到设备上使用。本论文针对人体关键点检测问题,以将模型最终部署到移动端设备为目标,致力于研究能够平衡计算消耗与模型准确度、能够在移动端部署使用的人体关键点检测模型,并在其基础上实现多种场景的人体动作相似度分析算法功能。主要工作和创新成果如下:1.从优化网络结构本身出发,基于OpenPose修改并优化得到了一种平衡计算消耗与模型准确度的人体关键点检测网络。原始的OpenPose网络分为特征提取、检测优化(Refine)两个模块,本论文分别对其进行了卷积模块的修改、Refine模块的结构重新设计。最终得到的网络模型计算量(GFLOPs)仅为原始网络的四十分之一,模型的准确度仅比原始模型下降约6个百分点,模型文件大小仅8MB,且能够较好的处理图片中多人物肢体重叠、人物数量大且画面复杂的情况。在得到优化的网络模型后,具备了在移动端运行的计算消耗低、存储消耗小的特征。基于移动端深度学习框架TensorFlow Lite将模型部署到安卓设备上。最终的模型准确度较好,且作为多人人体关键点检测模型,在搭载骁龙855的安卓设备上,使用GPU进行推理,达到18fps的帧率效果,具有较好的实时性。2.针对实际应用中,需要基于图像中的人体骨骼关键点,用以分析不同人物之间的动作相似度情况。本论文基于余弦相似度和动态时间规整方法,提出动作相似度分析算法,针对健身场景,能够实现对健身动作的次数进行统计;针对舞蹈场景,能够对双人舞蹈的视频分析两个人物的舞蹈动作相似情况,并阶段分析部分区间内差别较大的关节角,为动作的学习与改进提供参考依据。