人的具体行为活动在人类社会中扮演着重要的角色,对于人类行为的检测识别研究是机器视觉以及机器学习领域的一个重要课题。对目标行为的检测,其过程与图像分类较为相似,都是对输入图像提取相应的特征,再将经过训练的分类器用于对提取出的图像特征进行分类。本文主要解决的是建立人类行为特征识别模型的问题。基于传统手工特征的行为识别方法,其主要过程为在时间序列中对可能存在的行为目标提取相应的手工特征,比如HOG特征与SIFT特征。并通过分类器的训练来实现对特定行为的检测。目前,随着深度学习技术的深入研究,传统手工特征在图像分类领域逐渐被深度学习所取代。经过训练的深层卷积神经网络也逐渐被应用于行为识别领域。针对人类行为识别任务存在种类多、背景复杂度高和行为中包含物体等特点。本文使用了基于三维卷积神经网络的识别方法。首先收集符合训练要求的行为样本数据集并按照训练的要求完成数据集的划分。其次根据实际的应用,将现有残差神经网络(Res Net)结构做出修改,构建实验使用的KV41-Res Net网络。然后根据三维残差网络的时间序列卷积核结构,构造包含三维卷积核的三维KV41-Res Net卷积神经网络。根据训练初始参数对三维KV41-Res Net卷积网络进行训练。将经过三维卷积网络训练的判别模型与不包含时间序列的二维卷积网络和基于骨骼特征定位的行为识别模型进行比较。实验结果表明三维卷积网络拥有能够提取视频全局信息的能力,能够有效检测包含了物体的行为类别;其次三维卷积核的使用增加了卷积网络对视频时间序列特征的提取能力,从而提升了检测效率。针对行为识别算法在监控领域中使用的问题,本文使用二维卷积特征与三维卷积特征相融合方法,融合后的特征包含了三维卷积特征的行为检测特点以及二维卷积特征的定位特点。再通过迁移学习的方法对融合后的参数进行训练,最终得到判别模型的训练结果精确率为0.885,召回率为0.821,F值为0.851。判别模型在具体应用中的检测帧率能够达到每秒60帧。