目前人体各个部位的姿态估计都是作为独立的任务,分别基于不同的网络实现的。在很多场景下,需要对人体多个部位进行识别,比如同时进行人体、手部、人脸关键点的定位,所以需要调用多个网络分别定位各个部位的关键点,多个网络占用空间大、网络复杂度高。另一方面使用多个网络会导致计算量产生大幅度变化,不利于算法在计算量受限的芯片或者移动端上部署。因此本课题提出基于联合训练的人体、人手、人脸统一姿态估计算法。针对人体多目标检测任务的需求,本课题建立了 一个人手脸目标检测数据集。使用Faster-RCNN检测框架在该数据集上训练实现了图片中人体、人手、人脸目标的检测,同时加入FPN、使用RoI Pooling代替RoIAlign以及加入多尺度训练,从而提高不同尺度目标尤其是小目标的检测性能。针对人手、人脸、人体关键点任务之间关联性问题,提出人手脸统一姿态估计算法。借鉴Mask-RCNN框架,并对人脸和人手关键点分支进行设计从而搭建人手脸统一姿态估计网络。通过对多任务联合损失函数的研究,对网络进行训练测试和优化,最终该模型在COCO人体关键点定位验证集上APkp达到了 65.5%,在CMU人手关键点定位验证集上PCK指标达到了 0.927,在300W人脸关键点定位数据集上normalized error指标为4.43,人手脸统一估计任务在各项子任务上的指标都优于单任务训练模型的指标。最后搭建了人手脸统一姿态估计平台,实现对输入的监控视频中的工人或操作人员的行为分析,包括人脸识别、规范作业行为分析、手部操作行为分析等,用于工人错误操作报警及不规范行为记录。