近年来,随着智能视频监控、人机交互、视频检索等的广泛发展,视频中的人体行为识别成为了计算机视觉领域研究的重点之一。一方面,最原始的视频行为识别依靠人工24小时肉眼来对视频的类别进行判断,效率低下且极为耗费人力资源与财力资源。另外当视频行为的类别标签日益庞大的时候,依靠人为来记住上千上万个类别标签显然也是不切实际的。另一方面,即使是针对同样的人体动作行为,人们也常常难以保证每次分类都是准确无误的,因为在分类的过程中存在一定的主观性和随机性。因此,迫切需要一种识别精度高、自动化提取动作特征的行为识别算法。深度学习的出现正好完美的解决了这个问题,本文以高效提取特征、提高行为识别的准确率为目的,提出了一种基于深度学习的行为识别算法,最终完成了视频中人体行为识别。本文基于主流行为识别数据集UCF101和HMDB51,进一步研究基于深度学习方法的相关行为识别算法。首先对深度学习相关的理论基础知识进行了全面的介绍,并分析了深度学习中行为识别的几大主流方向;接着阐述了双流卷积神经网络的由来以及进展,通过模拟视觉皮层处理机制腹侧通道和背侧通道,它将网络分为空间流和时间流两个部分。其次,对于双流卷积网络不能很好地处理长时间视频建模的问题,引入了经典的时域分割网络。对该经典模型进行研究和思考,针对其不足之处,本文提出了一种基于特征传播的时域分割网络行为识别,主要有如下改进:1、引入特征提取能力更强的网络模型,分别将Inception V3结构作为空间流和时间流卷积网络的基本骨架。2、对于时域分割网络原始算法中不能端到端的提取光流,需进行离线提取且速度较低的问题,引入Flow Net C网络提取光流信息,进一步降低了光流提取的出错率。3、提出特征传播的方法,运用于时域分割网络中,提出了新的P-TSN网络结构;在上述两个数据集上进行了相关实验,通过利用空间流对关键帧进行特征提取,对非关键帧利用特征传播进行特征提取,接着将空间流和时间流进行加权融合送入Softmax进行分类,最终在数据集上的实验结果证明了该方法的有效性。