人脸识别技术由于其较大的理论挑战以及丰富的现实应用,在计算机视觉领域受到广泛的关注。随着多模态传感器的发展,在现实生活中,容易捕获到多模态的人脸图像。由于不同模态成像机制的差异,基于单模态人脸识别算法无法处理多模态人脸图像,限制了人脸识别的进一步应用。多模态数据能够提供互补的信息,使得识别性能得到提升,旨在融合多个模态信息的人脸识别方法相较于基于单模态的方案具有更大的现实应用价值。多模态的人脸识别如今备受重视还因为其在经济、社会安全、刑侦、军事等领域有着重要的作用。本研究内容主要围绕近红外与可见光,以及多视角这两种场景下实现多模态的人脸识别任务。由于来自不同模态的数据之间存在较大的差异,通常可以将其看作来自不同域、具有不同分布的数据。因此,不同模态的数据之间不能直接进行比较。相较于单模态的人脸识别方法,多模态面临的挑战便是将多模态的信息联系起来,使得模态间的差异性最小化。本文针对多模态学习存在的挑战设计了适用于多模态的人脸识别算法的整体框架,该框架包含了特征融合和公共子空间学习这两部分。本文首先给出了适用于多模态的改进的特征融合方法。视同探究同类事物模态间存在的相关性,并结合多模态图像特性给出合理假设,提出了基于低秩子空间学习的人脸识别方案。在改进的特征融合算法的基础上,提出了基于低秩的联合稀疏表达算法,给出了算法的优化式以及分析其优化式的合理性,并且使用交替方向乘子法对优化式进行推导,得到算法最终的计算流程。本文通过收敛实验结果观察得到所提的算法识别率能够较快地收敛到平衡点,并且对参数改变带来的识别率影响进行了实验以及分析。最终,本文通过两个数据集,即近红外与可见光人脸数据集和多视角人脸数据集,对本文所提算法以及近年来基于多模态的优秀的识别算法相比较,实验结果显示证明本文提出的算法在对于两种数据集都有较强的优势,并且能够对于三个和三个以上的模态也有较好的实验结果。综上所述,本文达到了课题研究目的,有效解决了面向多模态人脸识别的问题。