近年来,随着互联网和智能设备的不断发展,视频成为了重要的信息载体,同时为了安防起见,越来越多的公共场所都安装了视频监控设备。在视频数量呈现爆炸式增长的背景下,如何让计算机去识别视频中的人体行为就成为了重要的研究热点。行为识别技术作为计算机视觉、模式识别等领域的一个重要研究方向,在智能监控、人机交互、虚拟现实、智能康复、运动训练等领域都具有重要的应用价值和广阔的应用前景。目前很多成功的行为识别方法都是在双流网络的基础上构建的,该网络是由空间流和时间流两个网络构成,分别用来提取视频的外观信息和运动信息。双流网络处理的对象(RGB图像和光流图)容易受到复杂背景、光照变化等因素的影响,当这些因素发生变化时,识别效果就会大幅降低。而骨架数据提供了人体行为的抽象信息和高级特征,可以克服光照、背景、外观等因素的影响。但是骨架数据过于精炼,将人体动作信息用人体十几个或二十几个关节点的运动来表示,缺乏视频中的颜色、形状、纹理等信息,所以仅仅从骨架数据中有时很难识别出某些行为。而双流网络处理的对象RGB图像和光流图中恰好包含着视频中的颜色、形状、纹理等信息。因此,本文扩展了双流网络结构,实现了一种基于三流网络框架的行为识别方法。即:在双流网络框架的基础上增加了一个骨架流网络分支,构成了一个三流网络结构框架。本文使用时序分段网络(Temporal Segment Networks,TSN)的思想,利用Res Net101网络结构来搭建空间域网络和时间域网络,使用卷积神经网络(Convolutional Neural Network,CNN)模型搭建骨架流网络。多流网络既克服了单纯基于骨架数据的人体行为识别的缺点,也使网络集成了视频的图像帧、光流和人体骨架三种模态信息(视觉线索),各模态数据之间具有互补性,可以获得人体行为识别更多的互补信息,最后本文尝试了两种多流网络的融合方法。为了验证本文方法的有效行和可行性,我们在大规模数据集NTU RGB+D上进行了大量的实验,实验结果证明基于多流网络结构的行为识别方法具有较高的识别性能,能够解决单流网络识别率低和不稳定的缺点,具有广阔的应用前景和应用市场。本文对多流网络结构的融合方式尝试了两种方法:结果直接平均法和结果加权平均法,实验结果表明结果加权平均法效果更好。