行为识别是计算机视觉中一个非常受重视的研究方向,在智能监控、医疗看护、手语翻译、人机交互、虚拟现实等领域有着广泛的应用。骨架序列是人体状态的紧凑表示,避免了背景干扰,数据量小,行为描述能力强。因此,基于骨架序列的方法是行为识别中一个重要分支。尤其是随着深度学习的发展,基于深度学习的骨架行为识别日益成为研究热点。近年来兴起的基于图卷积网络的方法,因其对人体骨架天然结构信息的充分表达,在性能上取得了突破性的进展。但是,这些方法仍然存在着空间高级语义提取不足,表示能力不够,节点连接混乱,时空关系建模不完整的问题。本文针对这些问题,对现有方法进行了改进。针对多种行为涉及的人体区域大小不同,所覆盖的感受野层级较多的问题,本文构建了一个多级语义图卷积网络。该网络在多个语义级别上构建行为描述,实现了对骨架层次先验知识的有效利用。同时,该网络提高了网络探索大尺度时空感受野信息的效率,增强了对于不同动作幅度大小的行为的鲁棒性。实验数据表明,多级语义图卷积网络在获得比此前方法更准确识别精度的同时,减少了一半的网络层,有着更少的参数量和更快的推理速度。针对现有图卷积网络表示能力不够、图结构中冗余连接干扰有效关系建模的问题,本文构建了关系选择图卷积网络。该网络以可学习的方式实现了对节点间连接关系的有效筛选,避免了节点间冗余连接对时空关系建模的干扰。此外,还赋予了图拓补关系建模更多的灵活性,有着更强的行为描述能力和上下文关系提取能力。在实验中我们发现,关系选择图卷积神经网络可以构建稀疏有效的图拓补结构,并且在行为识别精度上有着明显的提升。针对现有图卷积网络在时空域内关系建模不完整,图结构共享导致特征处理能力受限的问题,本文将图卷积神经网络与卷积神经网络进行集成,形成一个针对骨架行为识别的混合网络。混合网络实现了网络局部时空域的完整节点关系建模,避免了通道间的图结构共享。在保留结构先验信息的前提下,完成了从图结构特征图到网格状特征图的转换。从实验结果表明,混合网络有着比图卷积网络和卷积网络更高的识别准确率,特别是在一些难度较大的类别中,这一优势更为明显。综上,本文对现有基于图卷积网络的骨架行为识别方法在多级语义建模,空间图构建和时空关系捕捉上所存在的不足进行了深入研究,并针对这些问题提出了一些新的方法。这些方法都是结合对骨架行为识别这任务的理解,从不同角度对现有图卷积方法进行的改进与创新。在NTU-RGB+D、NTU-RGB+D 120、Kinetics-Skeleton、Northwestern-UCLA等公开数据集上,用实验验证了这些方法的有效性,较现有骨架行为识别方法相比,取得了较为明显的性能提升。