视频动作识别是计算机视觉领域中重要的研究内容之一。近年来,基于Transformer的模型已经成为计算机视觉领域的研究重点。基于Transformer的视频动作识别任务依旧面临着严峻的挑战:首先,视频中包含了丰富的信息,光流以及骨骼特征都可以被运用到模型中,如何在Transformer中有效运用这些信息,是目前研究的一个难点;其次,视频模态与自然语言模态有巨大的区别,视频数据建模方式的选择,将在很大程度上影响模型的表现;最后,如何获取视频中的细节信息,过滤掉视频中的冗余信息,进行视频细粒度的动作分类也是一个重要难点。本文结合视觉Transformer技术与双通路卷积神经网络的设计理念,提出了多种模型来研究视频动作识别。本文的主要工作包括:1.提出了融合骨骼特征的视觉Transformer（SF-ViT）的动作识别方法。本文通过Transformer模型的token化手段,完成了视频的RGB输入与骨骼点输入的嵌入,并有效融合RGB与骨骼特征,建立空间-时间Transformer结构来实现视频的动作分类。验证了骨骼数据与RGB融合在Transformer架构中的可行性。2.提出了双通路视觉Transformer（TP-ViT）的动作识别方法。本文创造性地将空间通路一分为二,在不同通路输入不同的视频采样,通过横向连接融合两个通路的特征。利用第二通路来捕获更多时间维度的语义信息,提升了模型的性能表现。3.提出了屏蔽采样与非对称自注意力预训练方法。本文通过屏蔽采样来使第二通路具备细节获取的能力,以完成细粒度动作分类的任务。同时本文通过构建非平衡的图像重建网络对第二通路进行预训练,这种预训练能够与屏蔽采样的方法相适应,在缩短训练时间的同时,提升其正确捕获视频细节的能力。本文的方法在Kinetics和FinGym数据集上完成相关实验。在模型结构优化的过程中,本文提出的方法获得了不断提升的实验表现,取得了优于当前主流方法的实验结果,同时验证了本文方法的有效性。