视频动作识别作为视频理解的主要研究任务之一,在智能监控、自动驾驶、人机交互等领域有着广泛的应用。近年来,随着深度学习技术的发展,视频动作识别取得了很多突破性的进展。但由于视频不同于图像,由很多连续的帧组成,且序列信息存在很大的冗余性,因此如何对视频帧间的关系进行充分建模、如何选择视频中的关键信息以降低冗余并抑制噪声,以及如何对视频中不同尺度的序列关系进行充分挖掘都十分关键。本文分别针对上述三个方面的问题,提出了三种高效的算法机制,并将其进行有机结合构建了基于金字塔时空图网络的视频动作识别模型,对现有方法进行改进。三种算法机制之间是互补的关系,具体如下:1、基于图卷积网络的长距离时空关系建模。针对现有模型仅使用卷积等局部操作来提取帧的特征,无法对视频帧与帧之间的长距离时空关系进行有效建模的问题。本文提出在视频序列的时间以及时空维度分别构建图卷积网络来对视频帧与帧之间、帧内及跨帧各区域之间的长距离时空关系进行建模,从而得到更有利于分类的动作表征。实验表明,将提出的方法在大规模动作识别数据集上与多个基准模型相结合,可获得显著的性能提升,证明了图卷积网络在视频动作识别任务中用于长距离时空关系建模的有效性。2、基于时空注意力机制的关键特征选择。针对现有模型对视频所有输入帧均给予相同的权重,无法对重要信息进行筛选,使得模型容易受到无关信息的干扰并造成信息冗余的问题。本文提出时间以及时空注意力模块,在时间以及时空维度上促使网络分别对动作分类重要的帧以及时空区域给予较大的关注。实验表明,提出的注意力模块使得网络更加关注对动作识别重要的特征,从而避免了噪声干扰与信息冗余,有效提升模型性能。3、基于多尺度特征金字塔的特征融合。针对单尺度模型感受野单一,无法对视频序列中不同尺度的特征关系进行充分挖掘和融合的问题。本文提出在视频序列上构建多尺度特征金字塔的方法,依据上述提出的注意力模块给予每帧及每个时空区域的不同权重,多次选择不同数量的重要特征在时间及时空维度得到多尺度的特征组合,并对其进行融合来进一步提升模型的特征理解能力。在多个大规模视频动作识别数据集上的大量实验表明,该方法可以有效地增大网络的感受野,对不同尺度的关键特征进行充分融合,进一步提升模型性能。