人脸特征点定位是自动定位事先定义好的面部关键点,以获取人脸形状。人脸特征点定位是人脸图像分析的关键步骤,在人脸识别、仿真、跟踪、表情分析、人脸三维动画建模等任务中有着广泛的应用,受到研究者们广泛的关注。目前,在可控环境下,人脸特征点定位和人脸分析相关任务已经达到了比较满意的结果。但在非控场景下,由于受到光照、姿态、表情、遮挡等非可控因素的影响,人脸外观和形状变化呈现高度非线性。因此,已有模型在人脸特征点定位和人脸其他相关任务上的性能依然很差,无法满足实际应用的要求。本论文主要针对非可控场景下的人脸特征点定位问题进行研究,并针对该问题提出了相应的解决办法。主要创新点如下:(1)在非可控场景下,人脸外观变化呈现高度非线性,而现有模型的视觉特征描述方法难以对其进行准确表达。为了解决该问题,本文提出一种基于深度卷积特征和极限学习机的人脸特征点定位方法。该方法包括:首先,设计并训练深度卷积神经网络,提取全局卷积特征,包含空间像素和上下文语义信息;然后,引入鲁棒的极限学习机,代替卷积神经网络中内置的回归器,实现人脸外观特征到人脸形状的非线性映射;最后,融合多尺度的预测结果确定特征点位置。实验结果表明:包含空间像素和上下文语义信息的卷积特征凸显了复杂人脸外观的一般模式,更有助于定位任务;极限学习机回归函数对人脸外观特征到人脸形状之间的映射能力较强;融合多尺度预测可以进一步提高定位的精度。(2)在非可控场景下,人脸外观和人脸形状存在较大的差异,而现有的级联形状回归模型对初始形状敏感,局部特征忽略形状约束信息。为了解决该问题,本文提出一种改进的级联回归模型实现人脸特征点定位。该模型包括:首先,在级联结构的第一级,通过学习算法直接输出所有特征点位置作为初始形状,代替人工赋值的初始形状,在级联结构的后几级,设计并训练多目标的浅层卷积神经网络,提取局部卷积特征,包含局部相关性信息;然后,改进极限学习机回归函数的优化方法,提高算法的泛化性;最后,通过级联框架实现由粗到精的人脸特征点定位。实验结果表明:通过学习算法初始人脸形状鲁棒性较高;增加局部特征之间的相关性可以添加形状约束信息,提高定位的精度。另外,本文提出的级联形状回归模型每级基于不同类型的特征,拓宽了现有的级联形状回归方法。