动作识别作为人机交互领域的重要技术受到许多研究者的关注。传统的动作识别是在彩色信息的基础上提取动作特征用以动作识别,但是基于彩色信息的动作表征易受光照、背景和人体自遮挡等因素的影响。利用包含有人体运动信息的骨骼关节点数据来研究动作识别,能在一定程度上避免复杂背景等干扰因素的影响,这给动作识别的研究带来新的活力。目前很多基于人体关节点信息的研究都是对单个动作实例进行动作识别的,对于包含有多个动作实例的动作序列的动作识别研究相对较少。从被研究的数据类别角度看,目前研究大多是对彩色信息、深度信息和人体关节点信息分别提取动作特征,然后进行特征融合用以动作识别,忽略了手持物体种类对于交互动作识别的信息补充作用。本文首先利用关节点信息对单个动作实例进行动作识别的研究。提出一种基于关节点信息的骨骼特征,称之为动作编码图特征;利用支持向量机作为动作特征分类器,在微软公共动作数据集MSCR-12上进行实验,验证动作编码图特征对动作表征的有效性;分析动作编码图特征参数对该特征的动作表征能力的影响。针对包含有多个动作实例的动作序列,本文建立基于高斯混合模型(GMM)算法的动作序列分割模型。首先获得整个动作序列的动作编码图,然后用阈值分割的方式在动作编码图基础上获得相应的动作编码掩模图;接着在掩模图基础上,利用八项种子算法分别提取动作序列内的人体姿态保持静止的时间片段,同时用GMM算法实现对动作实例之间的姿态静止时间片段的判别;接着以姿态静止时间片段为分割依据,将动作序列中多个动作实例分割出来;最后提取各个动作实例的动作编码图特征,用支持向量机完成单个动作实例的动作识别过程,进而实现对动作序列的动作识别。对于人机交互动作,人体手上所持物体的种类对动作识别具有重要的信息补充作用。本文利用Kinect平台能同时采集彩色、深度和关节点信息的特点,首先设计检测手中是否持有物体的方案;若持有物体,则同时得到物体局部彩色图像,并建立物体姿态完备的彩色图像数据库;利用基于SIFT特征的特征词袋(BOF)图像检索算法判断出物体种类;最后将物体种类与基于关节点信息的动作编码图特征相融合,用支持向量机分类特征,最终实现识别交互动作的目的。