人体行为识别可有效辅助肢体语言的理解,相关研究已成为计算机视觉领域的热点研究课题,具有重要的研究意义与广泛的应用价值。目前主流的行为识别算法,主要围绕从视频数据中高效提取和利用时空信息进行研究,从而提高模型的识别性能。本文以视频行为识别为研究对象,基于空间和时间维度中丰富的上下文关系及全局关系约束,分别提出和实现了三种人体行为识别算法。本文的主要工作包括:(1)提出了一种运动增强的时空表征聚合网络(Motion-Enhancement SpatialTemporal Aggregation Net,ME-STANet)。ME-STANet通过引入可微分TV-L1卷积层,捕获特征图通道的光流,以此获得丰富的上下文表征,然后借助运动注意力引导模块,增强外观特征图中的重要元素。UCF 101数据集上的实验结果表明,所提网络可使准确率提高3.25%,有效提升行为识别算法的性能。(2)提出了一种时空协同描述的行为识别网络(Spatial-temporal Collaborative Action Recognition Network,StARNet)。StARNet基于双流网络机制,可协同考虑时空关系表示和决策融合。所提网络首先利用前文所提ME-STANet模型获得增强的时空关系表征,同时在光流支路也引入ME-STANet模块,进一步增强时序关系的表征能力。在UCF101数据集上,所提StARNet模型的准确识别率与前述MESTANet网络相比提高了5.32%,实验结果表明光流支路的引入可进一步提高行为识别的准确率。(3)提出了一种基于图表征的全局时空关系推理网络(Graph-based Global Spatial-temporal Relation Reasoning Networks,GStRNet)。GStRNet通过全局推理Glo Re单元,将感兴趣区域的特征投影到一个交互空间,采用图卷积得到其全局关系,然后再映射回原空间,以此捕获深度网络的长距依赖关系。同时GStRNet可对全局时空信息进行多步推理,得到更深层的全局关系表示。UCF101数据集上的实验结果表明,所提GStRNet模型可取得95.8%的准确识别率,优于前述MESTANet与StARNet模型,并优于目前其他典型行为识别算法。