行为识别技术是融合了计算机视觉、深度学习、模式识别等众多领域研究成果的交叉学科,在视频搜索、辅助医疗、视频监控等方面具有广泛的实际应用价值。包含人体行为关键信息的骨架数据,不仅能够准确描述三维空间中人体的动作姿态,其刚性连接结构还对多种外部干扰因素具有一定的鲁棒性。因此,基于骨架和姿态信息的行为识别技术也受到了国内外学术界和产业界的关注,是计算机视频分析领域的研究热点之一。本文主要针对人体骨架信息提取和基于骨架的行为识别问题展开研究,主要内容如下:(1)本文对骨架提取和姿态估计算法进行研究。本文首先在数据集上对四种主流的骨架提取和姿态估计算法进行了对比实验分析。然后,为了提高骨架姿态信息的准确性,本文在基于卷积神经网络和PAFs特征的Open Pose姿态估计算法的研究基础上提出了一种基于数据关联和骨架能量模型的去噪方法。该方法通过将骨架数据与人体目标进行数据关联,统计骨架点在时间序列上的累积能量,减少了无关背景和环境噪声的干扰。最后,经过定性实验和定量分析,本文验证了该算法的有效性。(2)本文研究了基于空时图卷积神经网络的人体行为识别算法。首先,通过结合Kinect数据集和实地采集的自建数据集,本文对空时图卷积神经网络在交叉视角类数据上进行了实验测试和性能评估;然后,根据算法对不同动作类型的识别准确性,设计了将骨架信息和注意力模型融合的投票分类策略,进而输出了行为识别结果。实验表明,该方法对于长时间运动的识别精度有一定提高。(3)基于以上研究,本文设计并搭建了一套应用于篮球运动的骨架提取与行为识别系统。该系统主要包含视频采集、骨架提取和行为识别三个模块。其中,视频采集模块对篮球比赛中涉及的六种不同动作进行了拍摄,并构建了相应的人体骨架数据库;骨架提取模块主要用于实时提取骨架信息,并估计运动姿态;行为识别模块则利用基于空时图卷积神经网络的运动行为识别方法,计算得到球场上特定运动员的行为类别。该系统在体育视频直播和智能教学等现实场景中有较好的应用前景。