随着现代科学技术的发展,深度学习已经成为人工智能领域的主流技术。深度神经网络可以学习到表达能力强、泛化能力强的特征,使得深度学习在各个领域的任务上取得了超越传统算法的性能,特别是在自然语言处理和计算机视觉方面,其取得的成果远远超过先前相关技术。从现代科学研究成果来看,视觉可以捕获大量的信息,是人体五个感觉器官的重要存在。目标检测、目标跟踪、行为识别基于其任务本质,成为了计算机视觉的研究热点。得益于深度学习的发展,这三门技术近年飞速发展,且逐渐被应用到各个领域,但随之而来的是更多的困难和挑战。因此研究目标检测技术、目标跟踪技术、行为识别技术具有重大现实意义,本文将基于这三种技术,设计实现一种在GPU上能够实时计算,集目标检测、目标跟踪与行为识别功能于一体的感知融合算法框架。本文设计的感知融合算法框架由四部分组成,分别是目标检测模块、目标跟踪模块、姿态估计模块以及行为识别模块,这些模块将以串行或并行的方式结合到一起,因此对每一个模块的性能(精度和速度)都有极高的要求。对于目标检测模块,基于对轻量化网络的性对比,设计了基于MobileNetV1 与 YOLOv3 的超实时目标检测算法 YOLOv3-MobileNet1.0,在公开数据集上取得了有竞争力的成绩。对于目标跟踪模块,设计提出了一种超实时的,基于跳帧检测策略,SORT与SiamRPN++相融合的长期目标跟踪算法,并以MobileNet系列网络对SiamRPN++算法进行加速,算法最终在实际应用中取得了不错的性能。对于姿态估计模块,本文使用PixelShuffle作为上采样层,基于AlphaPose的思路设计提出了 FastPose-MobileNet1.0姿态估计网络,在公开数据集上精度超越了同数量级的其他姿态估计算法,并达到了单目标超实时性能。对于行为识别模块,本文认为多目标行为识别,人体骨骼运动特征相较于图像特征,噪声更少、计算量更小,基于GCN设计了基于骨架重建的时空图卷积网络SR-STGCN,相较于ST-GCN在NTU RGB+D数据集上精度高了 3个百分点。综上,本文提出的感知融合算法框架的各个改进或提出的模块均在公开数据集上具备一定性能优势,并且算法框架在实际应用上取得了不错的成果,证明了本文设计提出的感知融合算法框架具有研究价值和使用价值。