基于视频的人体行为识别技术是计算机视觉领域的研究热点,在智能家居、健康监测和公共安防等诸多领域有着非常广泛的应用。然而,在不同应用场景下视频数据适用的行为识别算法各不相同。因此针对视频数据的不同特性,本文主要改进时空局部兴趣点算法和长时循环卷积神经网络算法,具体的研究内容如下:(1)对于单一背景下的少样本数据,时空局部兴趣点算法运算简便且识别率较高。由于兴趣点特征只包含局部信息且易缺失相邻相关信息,提出了全局特征与局部特征相融合的人体行为识别方法。首先检测视频中的运动目标,并提取边缘方向直方图(EOH)作为全局特征;然后,根据运动目标兴趣点构建多尺度光流直方图(MHOF)作为局部特征;最后采用特征层串联策略进行特征融合,并通过SVM分类器完成行为分类。在Opencv与Matlab平台上实现该算法,并选用WEIZMANN和KTH两种经典的小型数据集进行实验。实验结果表明该算法提高了人体行为识别精度,且融合特征具有较好的鲁棒性和样本区分能力。(2)对于复杂真实场景下的多样本数据,长时循环卷积神经网络(LRCN)通过CNN提取空间特征,LSTM学习行为之间的时序信息。为了进一步挖掘视频序列的长时依赖关系,提出了基于并行交叉卷积网络(PCCNN)与双向长短时记忆网络(Bi-LSTM)的人体行为识别模型。首先PCCNN提取两组卷积特征,且在全连接层实现特征交叉,增强了特征的鲁棒性;然后将交叉后的特征依次传递给两层Bi-LSTM,捕获视频序列的双向时间信息;最后在Softmax层由两个方向的特征表达共同预测行为分类。在以Tensorflow为后端的Keras平台上实现该算法,并采用UCFI01和HDMB51大型数据集进行实验。实验结果表明提出的深度网络融合模型提高了网络的判别能力,且双流网络结构在行为识别中具有优越性。