目前,人体行为识别在诸如智能看护、智能交通行人预警、人体辅助医疗等各个领域的重要性不断凸显,它巨大的发展前景也吸引了愈来愈多的研究者投入到该领域。然而,由于各种诸如遮挡,光照等现实因素的影响及人体行为的多样性,想要对人体行为进行精准且快速地识别仍旧非常具有挑战性。目前,相较于直接基于视频流的行为识别方法,基于人体骨骼关键点的人体行为识别方法能屏蔽掉大部分背景因素的干扰和过滤掉视频流中RGB图像中巨量的冗余信息。然而,骨骼序列为非欧几里得数据,传统的CNN对骨骼关键点非欧式结构的特征提取无能为力,且现有的图卷积网络对人体骨骼关键点的二阶信息如骨骼的长度、方向和人体骨骼运动等利用较少。为解决以上问题,本文的主要研究内容包括三个部分:（1）提出了基于由人体骨骼关键点构成的人体骨架的三流（three-streams）人体行为识别算法。该算法采用图卷积网络来学习拓扑结构人体骨架的动作特征,分别对人体骨骼关键点、骨骼向量及骨骼运动信息进行建模并将结果融合并且采用自适应机制为每一个动作样本构建共有的全局图和唯一图。且相较于CNN,自适应图卷积网络对拓扑结构数据提取能力更强,且包含对骨骼长度,方向及骨骼运动信息等二阶信息的学习。本算法相较于ST-GCN在主要数据集Kinetics-Skeleton和NTU-RGB+D获得了较大幅度性能的提升。（2）提出了改进的Deep SORT算法（I-Deep SORT）以达到降低原算法ID Switch次数的目的。在Deep SORT算法中加入HOG（方向特征直方图）特征提取与匹配实现精准的跟踪。在人体目标检测基础上使用I-Deep SORT实现对特定人体追踪,此外,在对人体姿态估计获取人体骨骼序列的基础上采用训练的DNN行为识别模型对人体进行实时行为识别,并结合YOLOv3检测模型与I-Deep SORT算法实现对特定人行为识别与跟踪。实验表明其ID Switch次数下降了接近一半。（3）设计实现了一个基于ROS（Robot Operating System）的行为识别控制与展示系统。该系统包含Turtle Bot2机器人上的人体骨骼及行为识别、人体检测跟踪模块和手机App控制与展示模块。在Turtlebot2机器人上经过姿态估计算法获取人体骨骼序列并实现基于人体骨骼序列的行为识别,并将人体行为识别结果与人体检测跟踪结果相融合以实现对特定人体目标行为识别与跟踪。搭建手机App以实时控制与显示Turtle Bot2上人体行为识别与跟踪结果。