人脸检测与跟踪是计算机视觉领域的一项基础技术,是视频图像中分析和理解人脸的第一步。由于人脸的多变性和外界环境的一些不可控干扰因素,如人脸的姿态变化、背景复杂、人脸遮挡、尺度变化等,设计出实时且性能良好的人脸检测与跟踪算法仍是一个具有挑战性的课题。本文分别分析了最新的人脸检测和人脸跟踪算法,并做出了一定程度的改进来提升算法的性能。在人脸检测部分,本文设计了STFD(Scale-invariant Tiny Face Detector)人脸检测算法。首先,特征提取模块采用全卷积神经网络:由VGG16的前5层网络结构和额外添加的三层网络结构组成,自动学习图像的复杂特征,包括低层的空间细节信息和高层丰富的语义信息。而后利用6个尺度的特征图来检测不同尺度的人脸,大尺度特征图(低层卷积的特征图)检测小尺度人脸,小尺度特征图(高层卷积的特征图)检测大尺度人脸,解决人脸的多尺度检测问题。最后针对小人脸和离群人脸的漏检问题,设计了在低层卷积的特征图上加大anchor密度的方法,增加小人脸和离群人脸的anchor匹配数目,从而提升检测率。在PASCAL人脸数据集、FDDB和WIDER FACE的验证集上的实验结果表明,STFD人脸检测算法在一定程度上缓解了小人脸和离群人脸的漏检问题。在人脸跟踪部分,本文设计了结合注意力与特征融合的人脸跟踪算法。本文分析了全卷积孪生网络用于跟踪任务存在的缺点,并在其基础上进行了改进。首先,设计了第一帧和当前帧的前一帧结合作为目标模板的方法,实时更新目标模板。其次,提取输入图像的多个卷积层的特征,融合目标的表观信息和语义信息。最后,将通道注意力机制与目标模板的多层卷积特征相结合,赋予对跟踪目标影响大的通道特征更高的权值,提升目标模板特征的判别力。与几个经典的跟踪算法对比,本文的跟踪算法在达到实时的基础上获得了比较有竞争力的效果。