人体危险行为识别是智能监控系统中的一项重要研究,对于预防犯罪非常重要。在火车站,体育馆和商场等公共场所的视频监视场景中自动检测识别出人体危险行为,就能够及时发现潜在的事故危险并且立即处理,建立完善即时的预警机制,可以有效减少或消除公共安全问题,确保人身及财产安全。在现实世界中,由于视频拍摄角度、背景亮度、特征的多样性以及人的行为之间的关系等诸多因素,使得基于特征属性的行为检测成为研究者关注的焦点。针对上述因素,研究人员提出了从视频中提取人体行为骨架和光流特征信息的方法。目前,效果较好的骨架和光流信息提取方法有OpenPose、AlphaPose和OpenCV等。针对人体危险行为识别,本文分别基于时空图卷积神经网络和时序关系网络训练模型,用于人体危险行为的检测与识别。基于时空图卷积神经网络识别方法的关键是人体骨架的提取,该方法分别使用OpenPose和AlphaPose从监控视频中提取出人体行为的骨架序列,其中每一帧的骨架包含人体骨架的18个关节点,以及每一帧骨架估计的置信值,根据得到的骨架特征信息,结合骨架序列中的时间矢量,建立时空图网络模型对危险行为进行分类,并通过设置相应的阈值判定该行为的危险等级。时序关系网络与时空图卷积网络相比,其使用的特征信息不同,时序关系网络根据人体光流信息,结合视频帧的时序关系推理建立时序关系网络模型。基于时序关系网络识别方法的关键是从视频中有序或随机地提取若干帧输入时序关系网络。在Kinetics和NTU-RGB+D数据集上的实验结果表明,两种方法均能在不同场景下均能有效识别多种危险行为,识别效果均优于单一特征算法,同时识别效率更高,鲁棒性更好。其中,使用AlphaPose的识别方法更高效、更准确。配备时序关系模块的网络在危险行为检测与识别中有效的提高了识别准确度。本文使用多种方法进行对比实验,结果表明,基于骨架和光流特征的识别方法明显优于手动特征提取的算法。