近年来,随着人工智能技术的飞速发展,视频行为识别方法受到了广泛关注。现有的行为识别方法主要基于单倍速特征进行研究,较难识别外观相似的运动类。人体运动和其行为速度有着千丝万缕的联系,利用人体运动的多倍速特征进行行为识别能够有效提升识别效果。同时,现有方法较倾向基于单模态数据的行为识别研究,但单模态数据存在特征形式单一、特征表达不足等问题,严重影响了识别效果。每种模态数据中都包含着丰富的关键特征信息。多种模态之间特征的有效融合,可以形成互补的特征,使得提高行为识别效果成为一种可能。针对上述问题,结合多模态数据特征融合技术,本文进行了如下两方面的研究:1.针对基于单倍速特征的行为识别方法无法识别外观相似的运动类问题,提出了一种基于单模态数据多倍速特征融合的行为识别方法。在本方法中,将原始视频帧序列作为慢视觉速度帧序列,将关键帧算法提取到的帧序列作为快视觉速度帧序列。然后,将两种帧序列分别输入经过迁移学习微调后的Res Net视觉速度特征提取网络中,并对输出结果进行融合形成多倍速特征,最终完成分类任务。本实验在UCF-101数据集上开展模型训练及测试工作,最终模型识别准确率达到了91.3%。相比于Two Stream和C3D网络,准确率分别提升了3.1%和5.0%。本文的对比实验结果表明,本方法有效解决了外观相似运动分类难的问题。2.针对基于单模态数据的行为识别方法存在特征形式单一、特征表达不足等问题,本部分在第一部分的基础上引入骨架信息,提出了一种基于多模态数据多倍速特征融合的行为识别方法。在本方法中,将RGB视频和骨架信息作为多模态数据。通过基于单模态数据多倍速特征融合的网络模型提取RGB视频中的多倍速特征和空间特征,通过基于骨架信息的多尺度分离聚合图卷积网络提取骨架中的多倍速特征、空间特征和时序特征。然后对上述特征进行融合,从而完成行为识别任务。本实验采用UCF-101数据集,最终识别准确率达到95.5%。相比于Two Stream、C3D、TSN、STM-Resnet+SMART以及EAM-Res Ne Xt-101+64f网络,准确率分别提升了7.3%、9.2%、2.7%、0.6%和0.9%。由结果可知,本方法能够较好的解决基于单模态数据行为识别中特征形式单一、特征表达不足等问题,并且本方法具有较好的分类效果。