科技的进步给我们带来了更美好的生活,而现实生活的需求又使科技有了更强大的发展动力。人工智能已经体现在了生活的方方面面,给人们带来了前所未有的交互式体验。人体行为识别是跟生活联系非常紧密的一项研究,也是人工智能一个重要的领域。对获取的人体完整3D视觉数据进行深入分析是机器学习和模式识别领域的前沿研究主题。行为识别的两个重要研究方向,一个是如何提取更具鲁棒性区别性的特征,另一个是对获取的特征如何更好的提取空域和时域特征信息。利用RGB视频的学习方法,会受到背景和光照的影响,还存在着遮挡的问题,人体的运动方向和视频拍摄角度也都会产生一定的影响。基于RGB视频的方法,一般采用CNN提取空间特征,或加上用传统方法从每帧图像提取的特征或视频图像中提取的光流特征融合学习,上述因素对识别会造成不可避免的影响。随着深度相机的发展,人体的骨架信息更容易获取。并且相对于RGB视频信息,骨架信息不仅占用资源小,而且有着不受背景等因素影响等优点。骨架的优点使得基于骨架的行为识别成为了重要的一个研究方向,本文基于骨架数据提出了两个行为识别的工作。原始的骨架坐标,受视角变化的影响很大。将骨架数据表示为每对骨头间的旋转变换关系,不仅能够消除视角变化影响,还能够表达更多的信息。于是本文提出了计算每对骨头的李群变换信息,并将整个骨架序列表示为3D李群立方体的特征表示方法。围绕着3D李群立方体特征,本文通过对图像卷积的扩展,定义了李群上的卷积和池化等相关操作。根据李群特征的形式,提出了 2D李群和3D李群上的卷积与池化。并提出了一个工作在李群空间上的李群卷积神经网络。针对学习过程中存在的李群流形约束参数,探讨了在流形空间中进行参数的优化。这项工作给出了新的骨架信息表示方法,将其置入了李群流形空间中,给出了一种卷积网络扩展到流形空间中的方法,并通过对数映射将流形特征学习与常规的深度学习相结合。从人体的骨架结构中,可以提取一个拓扑图结构。本文第二个工作基于原始的骨架坐标数据,重点研究空域和时域特征的建模,提出了一个可以自动适应图拓扑结构的图神经网络。从多个视角探讨了节点的不同邻域对节点贡献的差异,提出了在有向图上将节点邻域分区域并分别进行图卷积学习的方法,探讨了有向图与无向图建立图的区别。根据不同邻边对运动的重要性不同,讨论了图的空间注意力机制,并研究了注意力机制作用在邻接矩阵上的形式及其效果。针对原始图过于固定的结构,无法修改邻边,提出了一个可自适应的图卷积方案。这项工作主要贡献在于提出了有向图上的图卷积方法以及自适应的图网络。通过在多个公共数据集上对本文所提方法的测试评估,证明了本文方法的对于行为识别有效性和先进性。