随着深度学习在计算机视觉中的飞速发展和人们日益提升的安全意识,视频监控系统在人们的生活中随处可见并且更加智能化。视频摘要是一种从海量的原始监控视频中获取相关信息的有效手段,而行人检测及人体关键点估计技术是实现视频摘要的基础。行人检测及人体关键点估计是指标定出图像中的人体或者部位的位置信息,是计算机视觉领域研究的难点之一。本文对传统的行人检测及人体关键点估计方法进行调研,现有的行人检测算法对于有遮挡或者光照不好图像的处理不够理想,尤其是对于没有校正的检测结果,其漏检率较高;传统的人体关键点估计算法往往忽略了人体不同部位的尺度信息随着人体姿态和拍摄角度的变化而差异巨大的问题。因此本文做了以下工作。在有遮挡或者光照不好图像中,监控视频中的行人检测结果往往有很大的漏检率,因此本文设计并优化了基于模型融合算法的行人检测方法。本文研究了基于HOG+SVM的传统行人检测方法并对检测过程中的候选框的生成策略进行了优化;然后研究了基于GoogLeNet网络的深度学习行人检测方法,采用迁移学习的微调策略,生成自己的行人检测模型;最后根据HOG+SVM模型和GoogLeNet网络模型,通过模型融合算法,本文设计并优化了基于模型融合算法的行人检测方法。同时,在光照不好或者有遮挡情况下,本文通过公开的测试集验证了该方法有更好的行人检测性能。对于人体关键点估计的尺度差异性问题,因此本文设计并优化了基于FCHN(FPN-Cascade-Hourglass Network)网络的人体关键点估计方法。本文在已有的FPN网络基础上,设计并优化了基于上池化层的FPN网络,实现融合了图像中的浅层特征和深层特征的特征图的提取并通过上池化加快采样速度;然后,设计并优化了基于反卷积层的Hourglass Network,通过增加网络学习参数来增强模型的学习能力;最后,基于上述两个模型的优点,设计并优化了基于FCHN网络的人体关键点估计方法。实验结果证明,该方法在MPII数据集上的总体@0.5指标相较于原始模型提升了0.6%,尤其是对脚踝检测的结果提升了1.2%,一定程度上解决了尺度差异性问题。在现有技术的前提下,将本文中的基于模型融合算法的行人检测方法和基于FCHN网络的人体关键点估计方法集成于系统中,搭建行人检测及人体关键点估计系统,并通过实验对上述两个方法和系统的性能进行测试。