近年来,深度学习算法在多领域取得了重大突破,极大的推动了人工智能的发展。基于卷积神经网络的多种深度网络模型在RGB图像上的分类、分割以及目标检等领域取得了重大突破,这激发了研究人员对深度学习模型的进一步研究。由于深度传感器的商业化,人们获取3D数据的方法越来越便捷。应用程序可根据深度传感器得到人体在场景中的深度信息,提取出人体区域及关键点的3维位置信息。通过提取关键点位置信息中的相关特征,网络模型可完成人体行为识别。本课题主要研究基于3D骨骼点的人体行为识别,设计了基于V-DBN(VLAD-Deep Belief Network)与空间双流LSTM(Long Short-Term Memory)的两类网络模型。主要研究内容及方法如下:(1)设计并提取了基于3D骨骼点位置信息的时空特征。在时间维度上,利用相同骨骼点在相邻帧的位移、速度及加速度特征描述动作变化趋势;利用同一帧中指定骨骼点和参考骨骼点之间的相对位置及指定骨骼之间的角度变化特征描述动作状态。(2)提出使用VALD(vector of locally aggregated descriptors)方法解决动作序列长度不一致的问题。由于不同目标之间存在个体性差异,动作与动作之间的序列长度不同,不利于分类器进行动作识别。本课题通过VLAD算法完成动作序列长度的统一。(3)设计V-DBN网络模型完成动作识别。该模型中将VLAD算法和DBN网络相结合,通过对比散度算法完成特征降维,对网络中存在的关键参数进行分析。实验讨论了网络参数、组合特征、初始化方法、特征融合方式以及不同分类器对识别结果的影响。(4)V-DBN模型中使用的VLAD算法在一定程度上破坏了骨骼序列帧与帧之间的连续性。为克服这个问题,本文设计时空双流LSTM网络模型完成动作识别。该模型以Tensorflow框架为基础,通过多个LSTM网络单元搭建网络模型,旨在解决由于聚类引起的信息丢失问题对动作分类的影响。实验中对比了多种基于LSTM的网络模型构建方式。本课题主要完成了基于3D骨骼点的时空动作特征设计、改进了特征编码及归一化方法并搭建了两种用于识别人体行为的网络结构。在实验阶段,本文在常见的两类人体行为数据库和采集的数据集上对本文方法进行验证,证明了所提方法在特征设计,特征编码及动作识别上的有效性。