随着人工智能技术的发展,计算机视觉领域因其广阔的应用前景受到了越来越多的关注。其中,人体行为识别研究是计算机视觉领域中的热点,其通过计算机代替人眼来识别视频中的人体行为类别,被广泛应用于视频分析与理解、人机交互、智能监控等多种场景,具有重要的研究价值。人体行为识别研究主要采用2D摄像头采集的RGB视频和3D摄像头捕获的骨骼序列两种数据。视频和骨骼序列中都蕴含了丰富的人体时空特征,如何构建能充分、准确地提取时空特征的算法模型是提升人体行为识别准确率的关键。论文具体研究内容如下:针对RGB视频中复杂背景和移动摄像头导致的空间特征提取不准确的问题,论文提出一种基于姿态掩模时空网络(Pose Mask Spatio-Temporal Network,PM-STN)的算法模型。在空 间特征提取上,通过将姿态掩模聚焦人体的关键空间特征,进而提升网络的特征提取准确度。在时域特征提取上,论文研究了不同时域网络结构在姿态掩模作用场景下的效果,设计了卷积神经网络与长短时记忆网络结合的网络模型,充分发挥PM-STN的时空特征提取能力。在多个公开数据集上进行实验的结果表明,PM-STN取得了具有竞争力的识别准确率。针对现有的3D骨骼时空特征提取方法局限于局部特征提取,导致其缺乏高层特征表示能力的问题,论文提出一种基于时域感知图卷积网络的算法模型。在空间特征提取上,通过一种改进的全局人体拓扑关系表示,增强网络对于高层空间特征的提取能力。在时域特征提取上,通过增加了一种全局记忆单元选择性地从骨骼序列中提取关键时域特征,进而扩大网络的时域感受野,进一步弥补高层特征提取不足的缺陷。在公开数据集上的实验表明,时域感知图卷积网络与前沿方法对比取得了更高的识别准确率。