如今大数据存在于生活中的方方面面,对各种形式的海量数据进行合理应用,无论对于个人还是企业,都能带来可观的收益。视频数据作为这些海量数据中的主要部分,应用领域涉及生活中的各种场景,例如运动分析、医疗康复以及安全监控等。但现有技术对于视频中的人体行为识别问题的处理仍存在一些不足之处,这个领域仍然需要进行更加深入的研究。本文对于视频中的人体行为进行识别,主要分为两步,一是获取人体三维姿态特征信息,二是利用已获得的姿态信息对人体行为进行分类。以往的研究对于人体行为分类主要是基于外表特征或是光流特征来进行行为分类,往往忽视了人体骨骼信息在空间和时间上蕴含着的丰富的特征信息。随着人体姿态估计技术的不断进步,直接从视频获取准确的人体骨骼序列已经变得越来越容易,同时具有很高的精度,为人体行为识别提供了新的分析数据;而且随着近几年关于图卷积神经网络研究的不断完善,以图神经网络为主处理人体骨骼序列,辅以注意力机制增强模型效果,已经逐渐成为人体行为识别领域的主流方案之一,对于视频中的人体行为的分类有着很高的准确性,本文的研究就是基于这类方案。本文主要研究成果如下:（1）为了进行基于骨骼序列的人体行为识别的研究,首先要保证能够准确获取人体姿态信息,本文选择三维人体姿态估计作为研究方向,基于已有的二维人体姿态估计技术,设计了一种基于空洞时序卷积的空时卷积模型,利用时序空洞卷积提取二维姿态的帧间关联信息,该模型可以通过堆叠空洞空时卷积模块,调节每个模块相应的空洞卷积率,来逐步扩大模型在时间维度上的感受野大小,获取更多的时序信息;同时由于空洞卷积的特性,网络模型的参数量不会随着网络深度的增加而大幅度增长,保证模型在提高预测准确度的同时不会大量占用计算资源;此外我们还在每个模块中建立并调整残差结构,在将不同尺度的时序特征引入网络同时,保证了模型训练的鲁棒性;最后,我们在Human3.6M数据集上进行了实验,取得了和现有同类前沿工作的相媲美的效果,证明了本文理论的正确性。（2）在进行三维人体姿态估计的研究时,我们发现对于该类问题,甚至是对于所有基于深度学习算法来说,缺少大量高质量标注的数据集这一问题严重限制了相应研究的推进。在研究过程中,本文发现三维姿态估计问题中的特征分布非常符合半监督学习的三大基本假设,即平滑假设、聚类假设和流形假设,因此半监督学习适用于三位人体姿态估计任务。于是本文设计了一种半监督学习策略,首先通过少量标记数据学习进行监督训练三维姿态的特征分布,随后用训练好的模型处理大量无标记数据的到相应的三维姿态,将三维姿态重新投影到二维空间并进行相应处理后得到伪标签,利用伪标签完成无监督训练,充分发挥无监督学习的正则化作用,增强监督学习的效果,并在Human3.6M数据集上与监督学习的结果进行了比较,证明了半监督学习的价值。（3）本文在ST-GCN网络的基础上,增加了利用人体部件向量的部件分支网络,引入骨骼高阶信息,提高了网络的准确性;此外,本文还发现ST-GCN的注意力机制存在明显缺陷,其注意力机制只关注相邻关节点间的联系,完全忽视相距较远的节点间的联系,只关注了节点附近的局部特征,缺乏对于全局运动特征的关注,而在人体行为识别中,长距离关节点之间的关系具有非常重要的作用,仅仅凭借相邻关节点的关联无法准确判断多数行为的分类。为了在注意力机制中引入全局运动特征,本文参照非局部均值滤波算法建立非局部模块,引入全局特征;此外,为了区分所有节点关联的重要性,本文再建立了一个注意力掩模矩阵用于学习各个边的重要性,最后在Kinetics-Skeleton和NTU-RGBD两个数据集上进行了实验,取得了与主流工作相媲美的结果,证明了算法的正确性。