论文部分内容阅读
从深度传感器中获取的人体三维骨骼节点信息,由于其数据量较小而且数据形式相对简单并能完整表达人体的动作信息,从而引发了人们对基于骨骼节点的行为识别方法的深入研究。虽然现存的很多基于骨骼节点的行为识别方法取得了很好的识别效果,但暴露的问题依然很多。首先,现存的大多数研究行为识别方法通常是从全局考虑人类行为,而人体四肢这些局部区域却对人类行为的预测起着重要的作用。其次,因为人体行为的改变是一系列节点相互作用的结果,所以人类行为变化过程中的节点是具有相关性的。再次,在行为识别特征的提取过程中,若将整个人体所有节点赋予随机权重必然导致识别精度的下降;若不考虑节点间的相关性,则提取的各节点特征会形成散点结构,不利于深度模型的训练。最后,多数行为识别方法考虑将节点间距离或者空间位置信息作为特征进行行为识别的训练,然而人体行为的改变通常是具有方向性的。所有的这些因素导致了行为识别的表现达不到预期。基于此,(1)本论文提出了一种块状排序策略来组织人体节点信息。首先,由于人体行为的改变,通常是由于节点间的相对距离发生改变,因此本文使用人体关键节点间的距离和方向信息来表达人类行为的策略是合理的;其次,块状排序策略将重新组织人体节点的相关性信息,如此,节点间的相关性便得到了增强。本文提出的块状排序策略也被用于多人行为识别中。(2)由于不同节点对行为识别的贡献不同,其特征数据也应与其他节点有所不同。考虑到人类视觉的注意力机制,本文提出了一种新颖的注意力机制来获取块状特征中的显著性信息,用来更深层次挖掘导致行为变化的显著性特征。块状特征联合注意力机制在强化显著性特征的同时将能够抑制无用的噪声信息。(3)由于现存数据集较少进行多模多视角的数据采集,并且采集的数据集的背景相对简单,难以满足现实场景的需要。因此,本文根据现存数据集的不足,采集了 CAS-YNUMHAD行为识别数据集。该数据集充分考虑了视角、年龄、性别和采集场景,弥补了大多数RGBD数据集存在的缺点。最后本文在三个流行数据集NTURGB+D、UTD-MHAD、UTKinect数据集和CAS-YNU MHAD数据集上验证本文所提策略的有效性。实验结果表明本文提出的方法实现了最新的识别表现。