人体姿态识别技术已经成为当今计算机视觉领域的重要研究内容,应用场景渗透到了日常生活中的方方面面。人体姿态识别(Human Pose Recognition)是指对数字图像或视频中人体关键部位和主要关节点进行识别,是人体动作识别和行为分析的基础与前提。人体姿态识别技术发展越来越快,但也面临着众多挑战。例如光照条件、背景复杂、人体自身遮挡和物体间遮挡等常见情况的发生阻碍着姿态识别研究的进展。基于深度学习的人体姿态识别因为其堆叠的卷积神经网络对大量数据集进行提取的特征具有高度抽象性与普适性,相较于传统的基于图像结构的方法有较好的泛化性与鲁棒性,应对光照条件差、背景复杂、人体部位遮挡等问题有较好的表现,但也存在模型结构复杂、模块相对冗余、实时性存在改进空间等面向实际应用的问题。因此,在自然环境下实现高精度且具有实时性的姿态识别仍面临巨大挑战。本文针对2D平面图像与视频中的人体姿态识别问题,提出了改进的OpenPose模型,更好地优化了精度与实时性之间的关系,充分地发挥了残差网络作为主干网络地优势,并通过观察关节点运动的规律,将关节点识别结果简单地应用于人体动作分类场景上,解决了自然图像中的人体姿态识别问题与自然视频中的人体动作分类问题。主要的研究内容概括如下:(1)提出了一种基于融合前层信息的人体姿态识别方法,在OpenPose基础模型上进行改进,用于解决自然图像中人体姿态识别过程实时性有待提高的问题。OpenPose基础模型存在着模型参数量大、难以训练的缺点,主要原因是受到主干网络VGG19网络参数量大的影响。本方法针对OpenPose基础模型实时性有待提高的问题,结合残差网络易于反向传播的特性,提出了使用ResNet网络作为主干网络、缩减阶段数的同时使用小卷积核代替大卷积核的方法,减小了参数量与计算量,提高了姿态估计中的实时性。首先,使用ResNet残差结构替代传统的VGG结构,能提高反向传播时的效率,加快模型的收敛速度。另外,在具体关节点识别的网络部分,裁剪了最后两个阶段,同时将剩余阶段内部的大卷积核使用级联的小卷积核替代,有效地缩减了计算量,提高了训练时的效率与预测时的实时性。在COCO数据集上的实验结果表明了相对于其他方法,本方法在解决姿态识别问题上有一定的精度保证,同时通过对比原始模型的预测时间,本方法在实时性问题上也有一定的提高。(2)提出了一种基于判别因子分类的人体动作识别方法,根据判别因子的不同取值进行站立、行走、靠近等场景的判别,用于实现简单的人体动作分类任务。基于深度学习技术实现的人体动作分类方法往往分类情形多、精度高,但也存在不足,例如模型复杂、部署麻烦等问题。本方法提出了一种采用经验值设定动作的分类准则,在获取人体关节点信息后,先进行一个多目标跟踪过程,获取各个目标的关节点轨迹,然后是根据关节点信息手动设计行为模板进行动作匹配。实现了从人体姿态识别到人体动作分类的一个简单应用。