随着计算机视觉技术的快速发展和人脸识别技术的进步,设计机器学习模型来估计人脸的异常行为已经成为人脸自动分析领域的研究热点。这种模式对医疗诊断和治疗具有极大的潜在价值。本文的研究重点是人脸视频中的自动疼痛估计。由于疼痛表情是通过面部肌肉的运动来实现的,它可以通过简单的摄像设备进行采集,具有非接触式、方便、快捷等特点。而这种非接触式疼痛评估系统对于诊断疾病、准确治疗、监测医疗进展、缓解病患不适、提高生活质量是必不可少的,尤其对于特定的医疗群体,例如,新生儿、处于无意识状态的病人,或有语言或精神障碍的病人。这类医疗群体的特点是无法用语言表达他们的疼痛。随着深度学习在各个领域的普及,其强大的特征表达能力已逐渐在疼痛评估问题上显现。然而,视频序列包含丰富的疼痛相关信息,仍有许多信息尚未得到充分的挖掘,本学位论文将深入探究视频中的疼痛信息,从以下几个方面开展研究:（1）提出了在局部二值模式、局部相位量化及二值化图像特征等方法中引入时空特征及两种融合方法,该方法对不同局部描述子及其融合特征进行了探究,优化了局部描述子在疼痛识别任务上的表现。（2）提出了基于二阶平均池化及一种加权融合的特征融合方法,该方法首先探索了在不同局部描述子上通过二阶平均池化的方法进行特征融合。此外还设计了一种有效的加权融合方法,将底层局部描述子和深层特征统一起来。二阶池化可以捕获不同描述子之间的相关性,因为它从不同层面揭示了与疼痛最相关的事实。通过加权融合底层表征与深度特征,进一步提升了疼痛强度等级评估的性能。（3）提出了一种端到端、融合了生理信号的非接触式疼痛评估网络。该网络通过融合不同类型特征,以非接触式方法引入相对客观的生理信号,降低主观性的影响。该框架从视频序列中恢复生理线索,并通过所设计的视觉增强模块将生理信息与人脸表征融合起来,有效地利用了生理线索指导人脸疼痛表征学习。此外,提出了的时空注意力模块使得网络可以捕捉遥远像素之间的长距离依赖关系。（4）针对疼痛评估问题,从融合多源信息及设计不同融合方法的角度出发,本论文将不同类型的视觉信息、不同源信息（视觉信息与生理信息）分别进行融合,同时提出了三种特征融合方法,分别在疼痛识别、疼痛分类及连续疼痛强度估计三种任务上,显著提升了模型的性能。