人体行为识别正在成为当今一个受人瞩目的研究方向,已经被大量应用于摔倒人员监测、危险事件预警、人机互动、虚拟现实等领域。传统的算法知只能提取浅层的特征,无法对时空关系进行有效的建模。近年来,基于深度学习的双流卷积神经网络因其双流的架构可以有效的对时空关系进行建模且准确率高的优点而愈发流行,但是由于视频场景复杂多变,人体行为识别技术仍面临着诸多困难。首先,双流卷积神经网络的特征提取方式简单,无法充分提取时空信息来对长视频序列进行建模。其次,卷积神经网络的局部特征提取方式,无法进行长距离的全局建模捕获全局的特征依赖关系。本文在双流的架构下,从两种角度研究了两种双流混合神经网络以提高人体行为识别的性能。本文完成的主要工作如下:1、针对卷积神经网络提取时空特征不充分,对长视频序列建模困难的问题,提出了融合静动态特征的双流混合神经网络。该双流混合神经网络的时间流和空间流分别从单帧的RGB图像和连续多帧光流图中提取时空特征。首先,Res Net-101网络的残差结构中3×3特征提取方式只能提取局部的静态特征,为了提高网络的特征提取能力,采用了Cot Net-101网络对时空信息进行提取。Cot Net-101网络中自注意机制可以融合相邻区域的静动态特征实现长距离建模。其次,时间流中的Cot Net-101网络提取完多帧光流的运动信息之后结合长短期记忆（LSTM）提取其时间序列信息。除此之外,提出了一种数据增强方法,对于输入的256×340大小的图像,随机裁剪为256×256的大小,充分的利用图像的多尺度表征,进而对裁剪后的图像按中心区域进行裁剪并且随机擦除帧上的内容,然后进行水平或者垂直翻转,这种方法有效的增加了输入数据的多样性,并在一定程度上克服了过拟合的问题。在UCF101和HMDB51以及Kinetics-400数据集上进行了实验,实验结果表明,混合卷积神经网络、LSTM以及自注意力机制的混合双流神经网络可以充分的提取时空特征以及时序信息实现长视频建模。同时,结合提出的数据增强方式可以有效的提高行为识别的准确率。2、针对双流卷积神经网络无法进行长距离的全局建模捕获全局的特征依赖关系,提出了基于全局特征金字塔和空间注意力机制来进行人体行为识别的双流混合神经网络。首先,在该双流混合神经网络的时间流,利用较小的卷积核在前期阶段捕获运动的低维度特征,然后在后期阶段利用较大的卷积核捕获运动的高维特征,全局多头注意力机制则捕获全局的运动信息。其次,在该双流混合神经网络的空间流,设计了一个空间注意机制,该注意力机制通过平均池化操作来聚合特征映射的空间信息来生成一维映射来表示空间上的平均合并特征,然后使用3×3的卷积核进行卷积对RGB图像的边缘表观信息进行提取。最后,利用长短期记忆（LSTM）网络来对时间序列信息进行提取。在数据集UCF101、HMDB51和Kinetics-400上进行验证,实验表明,通过混合卷积神经网络、LSTM以及全局多头注意力机制可以充分的利用时间流和空间流的特征提取能力,有效的提高了人体行为识别的性能。