随着计算机视觉技术近几年快速发展,以及各种视频数据急剧增加,使得基于视频数据的视觉分析成为研究热点。目前主流的卷积神经网络模型对长时程视频数据的建模能力有限,行为识别方法也通常采用平均抽样的策略将长时程视频数据转换为少数帧图像,不可避免的造成信息缺失。另一方面,视频片段中存在着大量冗余的图像帧,如果不加区别的进行处理,则会增加计算复杂度。因此如何既保留视频序列的关键信息又合理地降低处理的数据量是面向视频的行为识别中一个需要亟待解决的难题。为此,本文提出了基于注意力机制的长时程特征融合方法,用以提高视频行为识别的有效性和精确性。本文主要工作内容如下:(1)对常用的视频行为识别算法进行调研和分析,分别对基于浅层特征的方法和基于深度特征的方法的研究现状进行介绍,并对其中经典的视频行为识别算法进行了实验重现,对比了现有算法识别精度,分析了现有识别算法的优劣势;(2)提出了面向视频行为的特征学习方法,在综合分析当前各个算法的优势与劣势后,采用双流网络模型,即将RGB图像和光流的双流网络应用于视频行为领域;为了进一步提高行为识别的正确率,弥补双流模型中有限视频帧带来的信息损失,本文通过利用长时程视频信息,将长时程视频帧分为若干重叠片段,以减少抽样视频帧带来的信息缺失。另外,由于连续视频帧中存在冗余信息,采用注意力(attention)机制赋予视频连续帧不同权重,以此为不同帧对于判定结果的影响进行赋权,从而更加合理的利用视频帧中的信息,提高对视频行为分类的识别度。(3)基于LSTM(Long Short-Term Memory)网络对由以上注意力机制所选择的RGB帧和光流帧进行时空建模,使算法可以同时捕捉视频行为的空间信息和时间信息,提高算法的识别准确率。在识别阶段,本文利用重叠视频片段的空间和时间网络判断的结果,融合生成对于视频的时空分数,再将时空得分相融合得到最终的视频分类。最后在UCF101和HMDB51两个数据库上对本文算法进行了大量实验,并将实验结果与目前主流的行为识别方法进行对比,验证了本文方法的有效性和优越性。