在人工智能和自动化操作迅速发展的当下,当前的视频监控平台已经不能满足社会的需求,而渐渐向智能化方向发展。在这个发展的过程中,基于深度学习的人体行为检测技术也成为国内外广大研究者的热点课题。人体行为检测是指在对人体行为进行识别的同时,还要进行人体定位。本论文在现有的行为检测技术的基础上,借助于深度学习的强大特征提取能力,采用深度网络对行为识别和人体定位进行了研究,提出了新的行为检测算法。对于行为识别,因为行为具有时间特性,所以在对视频进行特征学习的时候既要学习行为的姿态分布等空间特性,还要学习行为的时间特性,使得行为识别相对于物体识别更具有挑战性;对于人体定位是物体检测的一种特殊情形,主要是预测人体的外接轮廓,相对于普通的物体识别少了一个物体分类的要求。本论文重点研究了基于改进的卷积神经网络的行为识别算法和基于多任务联合学习的行为检测算法。具体的工作如下:1.在改进的残差网络(TP3D ResNet)和Two-stream框架的行为识别网络的基础上,以改进的残差网络作为特征提取器,并结合Two-stream用以人体行为识别,本文称之为T-TP3DResNet网络架构。此网络架构的两流网络采用的都是TP3D ResNet,通过TP3D卷积对视频中的行为进行外观和时间域上的学习,并使用双线性模型对网络进行融合。此网络架构由于其深度和两流网络对视频特征的良好学习能力,使得此网络在行为识别的性能上得到了很大的提升。2.本文在T-TP3DResNet行为识别网络的基础上加入了人体定位的网络结构,设计出了基于联合多任务学习的网络架构,此网络架构既能进行行为识别,又能进行人体定位。通过在行为检测上引入多任务联合学习的方式,在不同域的数据集进行训练,缓解了当前行为检测数据集数量不足、规模不大的问题。因此,此网络解决了异构数据进行联合学习的问题,也为视频和图像联合学习提供了新的方法。3.根据社会的市场需求,本文设计了基于C/S架构的人体行为检测平台。在本平台中,后台行为检测算法采用的是本文设计的基于联合多任务学习的行为检测算法,并设计了智能行为分析服务器和数据库服务器对客户端的操作进行服务,采用分布式管理的方法对本平台应用的嵌入式平台进行操作。