深度学习技术最开始应用于图像分类,自动学习并提取深层特征,从而避免复杂人工设计提取特征。随着技术的发展,在物体分类、目标检测和目标分割等领域都逐渐发挥了极大价值。在计算机视觉的研究领域和市场需求来看,物体更加细粒度的特征的提取始终是技术热点和难点。人体关键点检测技术就是其中一项。目前大多数关键点检测任务依赖于目标检测的结果及其精度,而关键点检测的结果又可以为后续的技术作铺垫,比如基于关键点检测的姿态估计和时序动作检测。相比于RGB图像,利用关键点进行检测可以减少计算量,利于移植到轻量设备。本文是基于关键点做姿态估计,整个流程包括目标检测算法、单人关键点检测算法、基于关键点的姿态估计以及将人体关键点检测迁移到手部关键点检测四个方面。1.研究了基于深度学习的目标检测算法。主流目标检测算法主要分为单步法和两步法,单步法速度快,两步法精度高。考虑到后续关键点检测效果极度依赖目标检测的精度,所以在目标检测算法中选取精度更高的两步检测法Faster R-CNN,其检测的主干网络为基于残差网络的特征金字塔FPN,该结构能融合高层丰富的语义信息和底层丰富的位置信息,本次研究将对该检测网络进行改进,使底层特征的位置信息得到更多利用,从而使位置检测更加精确,同时对数据集中的小目标进行处理,最终可以使网络更快收敛,预测精度更加准确。2.研究了基于目标检测结果进行关键点检测的算法。关键点检测算法分为自顶向下top-down和自底向上bottom-up两种方法,top-down算法是先检测目标,然后对检测出的目标进行关键点检测,检测精度高;而bottom-up算法是先检测所有的关键点,然后将关键点利用聚合等方法匹配到每个人身上,检测速度快。本文在目标检测的基础上选取自顶向下top-down算法G-RMI,该算法在关键点概率图heatmap和关键点偏移量offsetmap共同作用下,得到关键点的精确定位。在具体实验中,对学习率的计算方式进行改进,消除了网络训练过程中出现的发散现象,同时设置对比实验,验证高斯分布heatmap和0/1分布heatmap对实验结果的影响。3.研究了将人体关键点检测算法迁移到手部关键点检测算法的应用以及改进。本文检测的人体关键点有17个,而手部关键点有21个,在迁移过程中除了需要改变关键点检测的个数,还要考虑人体和手部不同的比例以及数据特征,针对数据变化来改变输入数据的采样方式,从而使得迁移效果更好。4.研究了基于关键点进行姿态估计的方法。基于关键点进行姿态估计有两种方法,一种是利用深度学习方法,即搭建一个小的分类网络,输入检测出的关键点,输出姿态类别,此种方法在数据量充足的情况下,可以确保得到较高分类精度;另一种方法是人工设计分类规则,即为每一种姿态设计特有的关节特征,从而实现分类,此种方法不需要大数据量,但是泛化性能极度依赖人工设计特征。5.总结本次研究课题内容,并对基于本课题研究可以进一步开展的研究和发展趋势做出说明。