近年来,由于视频播放平台的快速发展、摄影设备的不断迭代以及移动通信的广泛使用,视频的数量呈现爆发式地增长。因此,如何从视频中提取信息就成为了一个亟待解决的问题。动作识别是视频理解领域中一个基础而关键的问题。早期,研究者通常使用手工设计的特征来捕捉时空特征进行分类。现今深度学习方法凭借其强大的特征提取与拟合大体量数据能力在动作识别领域取得了重大突破。然而,现有深度动作识别方法对于识别复杂场景下的动作仍然存在一些障碍。首先,现有方法识别RGB视频中多样且变化快速的动作仍很困难。主要原因可归结于以下两点:首先,复杂的动作视频中常常有大量背景及许多无关的人,而现有方法常被这些无关因素干扰而无法定位到动作执行者,因此造成识别困难。其次,复杂的动作常常需要模型结合身体各部分细节变化来组合识别动作,而非仅靠整体特征就能识别。然而大部分方法依靠卷积神经网络搭建从而缺乏建立图像不同部分间视觉关系的能力。我们提出了一个新的以人为中心建立视觉关系的方法,在两个大型公共数据集上的表现超越目前主流的识别方法。其次,骨骼点数据由于其紧凑、不受背景和无关因素影响的特点在高精度动作识别方面有很好的应用前景。然而,现有方法对于建模骨骼点数据中关节间的关系仍有很多不足,难以良好地更新节点特征。早期的方法直接将骨骼点数据重塑为二维矩阵送入网络提取特征,忽略了节点间内在的连接关系。之后图卷积网络将关节视为图网络的节点,使用固定不变的邻接矩阵来描述节点间的关系。部分方法引入了自注意力机制来自适应地建模节点间关系,扩大了节点的空间感受野。然而它们都需要经过多层网络才能使节点有效地获取其他节点特征,增加了信息损耗。我们提出了时空图注意力网络来解决这一问题,在三个公共大型数据集上的表现超越了目前主流的方法。