随着微电子技术、网络技术及传感器技术的日益进步为人类活动状态的实时连续捕获与收集提供了前所未有的便利,这些源自不同类型、不同模态传感器的感知本质上是人的行为的真实记录。对这些行为数据进行分析,有助于全面深入理解人的行为模式及其变迁过程,甚至有可能发现未知的行为模式,在安全监测、场景识别、智能辅助、人机交互等领域具有广泛的应用价值。本文主要是针对基于3D骨骼信息的人体行为识别进行了研究,提出了两种识别方法,它们分别是基于混合关节的行为识别和基于多模态特征的行为识别。本文主要的研究工作有以下三个方面:第一,本文分析了人体行为识别的研究背景和意义,从RGB数据、深度数据、骨骼数据三种数据类型上概述了人体行为识别的研究现状,对不同的数据类型分析了其优缺点,并根据研究目标明确了自己的研究方法。第二,本文针对现有传统行为识别方法中识别效率低,受环境干扰强等缺点,提出了一种新的骨骼表达混合关节特征,它在骨骼信息的基础上又融入了动能和势能这两种能量信息,使得特征描述更为丰富。同时,本文选用了长短期记忆(LSTM,Long short term memory)神经网络作为分类器,从而更好地学习了混合关节特征,为精确的行为分类做出了重要的贡献。第三,本文发现基于混合关节特征对于复杂行为无法做出准确的识别,于是提出了基于多模态特征的行为识别算法。多模态特征中包括混合关节特征和HDMM特征,将骨骼信息与深度图像信息相结合,优点在于当两者任意一类信息在采集的过程中出现严重的丢失或者噪声问题时,另一类信息可以当作补充,对于人体行为识别有着良好的效果。