生物特征识别技术是一种具有高可靠性和高稳定性的身份鉴别技术。在各种生物特征识别技术中,人脸的识别技术是一项极具有发展潜力的生物特征识别技术,同时也是计算机视觉与模式识别领域非常活跃的研究课题,它在公共安全、信息安全、金融等领域具有潜在的应用前景。多模态人脸图像的融合识别,是对多种传感器提供的人脸图像进行融合处理,结合不同模态图像之间的互补信息以获得更好的识别性能。这种融合技术既保持了原有人脸识别算法的性能,又能融合多种传感器提供的有效鉴别信息,提高识别的精度和鲁棒性。因此,这是一个很有前景的研究课题。但是,这一新的领域目前还只是刚刚起步,有许多问题急需解决。因此迫切需要开展广泛深入的基础理论和技术的研究工作。本文在已有红外与可见光人脸图像融合识别研究成果的基础上,从特征层和分值匹配层上对人脸多模态融合识别技术进行了探讨和研究。论文的主要研究工作和成果包括以下几个主要方面的内容:1、提出了一种基于Fisher线性鉴别的典型相关分析的多模态人脸融合识别算法从Fisher线性鉴别分析和典型相关分析的思想出发,提出一种针对多模态信息在特征层上抽取新鉴别特征用于模式分类算法,称为基于Fisher线性鉴别的典型相关分析(Fisher Linear Discriminant based Canonical Correlation Analysis,简称FLDA+CCA)。给出了将FLDA和CCA用于模式识别的理论框架。算法依据FLDA的判据准则函数分别抽取两组模式的特征矢量,再根据CCA思想建立描述两组特征矢量之间相关性的判据准则函数,依据此准则求取两组典型投影矢量集,通过给定的特征融合策略抽取组合特征用于模式分类。解决了当模式构成的总体协方差矩阵奇异时,FLDA投影矢量集的求解问题,使之适合于高维小样本的情形,推广了算法的适用范围。新算法对两组信息先降维聚类后建立相关融合的做法,既消除了模态内的冗余信息,又建立了不同模态信息之间的相关联系,达到信息互补的目的,为融合两组模态信息用于分类识别提供了新的途径。实验表明该算法能有效的提高识别率。2、提出一种多模态人脸非均匀局部特征融合算法局部特征抽取方法是从原始数字图像出发,先对图像进行分块,再对分块得到的子图像矩阵使用线性鉴别分析方法抽取模式特征,它是全局线性鉴别分析方法的推广。由于人脸图像内不同区域信息的鉴别能力不同,原先的均匀分块方法不能有效的反映面部鉴别信息的分布情况。为了抽取更具鉴别意义的局部特征,本文采用遗传算法从人脸图像中优选出取具有较多鉴别信息的子图像区域作为特征抽取的基础;抽取局部特征结合全局特征用于模式分类。新算法在红外和可见光人脸融合识别实验中表现出很好的识别性能。3、设计提出一种融合多模态人脸信息的双阈值分类器受Dempster-Shafer证据理论思想的启发,针对分值匹配层的多模态人脸信息融合问题,设计提出一种融合多模态人脸信息的双阈值分类器(Two-Threshold Classifier,简称2TC)。分类器根据Neyman-Pearson准则和样本在模式空间内的分布特性秉承D-S理论思想将模式空间划分为样本类别确定区域和不确定区域:对不确定类别的区域内样本采用Fisher线性判别准则分类。双阈值分类器根据样本在模式空间中所处的不同位置,依次采用不同的分类策略进行类别区分,有效的降低了错误分类事件的发生率,提高了正确识别率。在NDHID和Equinox人脸数据库上的实验证明了新分类器的有效性。