随着计算机技术与人工智能的发展,利用数字化智能化手段实现视频人体行为分析已成为重要的研究课题。人体行为分析领域中存在不同模态的数据输入,包括RGB图像、人体骨骼数据等。基于RGB图像的相关研究已广泛应用于智能视频监控,而基于人体骨骼数据的研究则广泛应用于人机交互、舞蹈文化保护等需要识别动作细粒度属性的应用。在此背景下,本文针对视频图像、人体骨骼数据展开对视频人体行为分析关键任务的研究与应用。由于视频数据中存在丰富的时空信息,如何有效进行特征表示与时空建模一直是任务的关键。因此,本文从优化数据特征表示和增强模型的时空建模能力出发,具体研究内容如下:（1）提出了一种基于双判别器生成对抗网络的RGB异常行为检测模型。本文针对由视频监控采集的RGB图像提出通过序列判别器确保生成未来帧的长程一致性。因此,在时空建模方面,本文提出了一种基于双判别器生成对抗网络的RGB异常行为检测模型,设计了生成器与判别器的网络结构,通过两种形式的对抗训练与梯度、光流等时空损失项实现对视频图像序列的时空建模,最终达到比单判别器结构更好的性能。（2）提出了一种基于双路径融合的轻量级骨架图卷积行为识别模型。本文针对深度摄像机采集的人体骨骼数据提出参数化的骨架图表示,采用数据驱动的方式对其进行更新可以充分表达变化的动作。在时空建模方面,本文设计双路径融合的图卷积神经网络行为识别模型,该网络由两条联合空间和时间建模的路径构成,在单流网络中增强了模型对骨架序列时态变化的探索,最终在兼顾模型参数量的同时取得了优异的识别精度。（3）提出了一种面向舞谱生成应用的多特征语义辅助有向图神经网络模型。由穿戴式传感器采集的运动捕捉数据仍然属于人体骨骼数据范畴,本文针对运动捕捉数据提出骨架的有向图表示,可有效表示人体骨架的全局拓扑结构。在时空建模方面,本文在之前研究的基础上,设计基于多特征融合的语义辅助有向图神经网络模型,通过多特征融合引入了关节和骨骼的运动信息,通过嵌入的骨架语义信息促进模型对骨架数据的理解,最终实现高精度的舞谱生成效果。