人体动作识别作为计算机视觉、人工智能和模式识别领域中的研究热点,引起了广泛关注,尤其是在视频监控、智能机器人开发、人机交互、游戏控制和多媒体视频检索等领域。然而由于容易受到自遮挡、视觉、光照、动态背景等外界环境因素的干扰,人体动作识别研究仍然面临着巨大挑战。本文提取人体动作的深度信息和骨骼信息进行研究,克服了外界因素的干扰;针对传统机器学习方法对高维数据处理能力差的问题,本文提出利用深度学习的方法进行人体动作识别。深度学习具有强大的非线性拟合能力、特征表示能力和高维数据处理能力。在深度信息和骨骼信息的基础上,本文提出了一种基于深度学习的人体动作识别方法。最后,本文构建了面向虚拟学习环境的人体动作库(CQ-VLAction),并用于测试相关学习算法。本文主要研究内容如下:首先,基于骨骼信息,提出了一种基于深度置信网络的人体动作识别方法。分别提取骨骼信息的静态特征、动态特征和补偿特征作为有效的骨骼特征;并用优化的深度置信网络识别;同时改变关节点的数目,验证对动作识别的影响。其次,研究了基于改进的卷积神经网络的人体动作识别方法。利用深度运动图提取深度信息的深度特征,然后用改进的卷积神经网络进行特征识别。改进的卷积神经网络使用三维输入和二维卷积过程辨识,在加快计算速度的同时,降低了识别过程的复杂度。在公开数据库MSR Action3D和UTKinect-Action上测试,本文的方法分别获得91.3%和97.98%的识别率,超过目前一些典型的研究。此外,本文进一步提取人体动作的深度特征和骨骼特征,并用改进的卷积神经网络进行识别,取得最优的识别效果和鲁棒性。最后,利用Kinect和Matlab搭建平台,采集人体动作数据,建立面向虚拟学习环境的人体动作数据库(CQ-VLAction),用改进的卷积神经网络进行识别,实验结果表明该模型可以从一个数据库推广到另一个数据库,并且具有较好的识别效果和鲁棒性。CQ-VLAction数据库也为我们接下来研究基于人体动作识别的虚拟学习环境自然交互应用奠定了良好基础。