生物特征识别认证技术可分为单模式(unimodal)生物特征识别认证和多模式(multimodal)生物特征识别认证技术。目前的每种单模式生物识别认证技术在准确率、用户接受程度、成本等方面都有一定的限制。相对单模式生物特征认证技术，多模式生物特征认证技术利用了多个生物特征，结合了数据融合技术，进一步提高了认证的准确率，有效的解决了单模式生物特征识别认证技术的限制和缺点。但是多生物特征识别技术均受到单生物特征识别技术成熟度的影响。目前，由于单生物特征识别技术还不完善，因而目前的多生物特征识别技术的系统鲁棒性不尽人意。同时系统在处理样本维数高和训练数据量少的情况下的识别任务时还存在很多问题。针对以上问题，本文以人脸与语音为生物识别认证特征体，研究了多模式生物特征的鲁棒快速身份识别认证问题。本论文的主要贡献总结如下：　　 1)在通过对目前人脸识别算法的研究与总结的基础上，本文首先基于二分类高斯过程分类器与人脸小波特征提出了一种新的人脸识别算法。该算法首先用小波变换特征提取人脸图像特征，并用二分类的高斯过程分类器作为基本的分类器，为了实现多分类任务，该方法采用了二叉树结构来扩展了两分类的高斯过程分类器为多分类器实现了多类人脸图像识别新模型。实验表明新算法对理想情况的人脸图像具有很高的识别率。但是由于人脸旋转角度、光线条件、环境因素变化的影响，该算法和传统识别系统一样，对非可控情况下的人脸图像识别率并不理想，并且也缺乏对人脸图像局部扭曲和遮盖污染方面的鲁棒性。　　 2)为了解决在环境因素变化情况下的鲁棒人脸识别问题，本文提出了一种基于联想记忆模型的模型自适应更新算法，并将该算法与对亮度和表情变化不敏感的Gabor特征相结合构建了一种新的鲁棒人脸识别方法。该方法采用所提出的模型自适应更新方法在真实识别前用模型自适应阶段获得的人脸图像数据对模型进行自适应补偿，从而减小了模型和识别数据间的失配，提高了识别率。　　 3)针对人脸图像局部扭曲与遮盖人脸识别问题，本文提出了一种后验联合决策神经网络新模型(Posterior Union decision-based neural network,PUDBNN)。该模型为概率判别神经网络(probabilistic decision based neural network，PDBNN)的改进模型。不同的是新模型中，后验联合模型(Posterior Union Model，PUM)被作为隐层有机的结合进PDBNN模型中，形成了一种新型的三层神经网络模型。该模型在对局部图像污染的先验知识未知情况下，自动的选择了最优的局部特征子集进行识别，减少了被污染的局部特征子集对识别的影响，因此提高了识别率。在XM2VTS，AT&T和AR数据库上的测试结果表明了新算法的优越性。　　 4)但是PUDBNN模型是基于高斯混合模型作为其基函数。同其他采用高斯混合模型的识别系统一样。PUDBNN模型遭受了特征维数与训练样本数量的限制：1)在人脸特征维数很高时，高维高斯概率计算很容易产生下溢错误；2)由于在小训练样本情况下无法精确的估计高斯混合模型参数，因而对于小训练样本的情况，识别率不是很理想。为了解决PUDBNN模型的缺点，本文提出了一种改进型的PUDBNN方法。该算法采用了两种方案来对PUDBNN模型进行算法改进。其一采用图像补偿技术增加了训练样本。其二采用了一种概率分布估计算法来代替了传统的高斯分布计算，计算了似然值。改进后的算法在小训练样本和特征维数较大的情况下在局部图像污染时能达到较好的识别率。　　 5)进一步，为了解决在小训练样本与高维人脸特征情况下，对光线变化和人脸图像局部污染两种污染情况鲁棒的人脸识别问题。结合对光线变化和图像旋转不敏感的分块Gabor特征，本文提出了一种基于相似度的新M-exponent模型。新模型用一种新的M-exponent相似度代替了概率计算，来实现了后验联合模型。由于新的M-exponent相似性计算并不受特征维数和训练样本数目的限制，因此新模型不仅对光线变化、人脸图像局部扭曲和遮盖鲁棒，而且还具有，能够处理小训练样本、高维人脸特征和不需要模型训练等优点。　　 6)对于鲁棒说话人识别问题，本文采用了双麦克风语音信号采集方案，并在传统抗干扰噪声消除器(Crosstalk Resistant Adaptive Noise Canceller，CTRANC)的基础上提出了一种改进的CTRANC算法。采用该算法在识别前进行语音增强处理，并结合了PUM的HMM识别模型，本文构建了新的说话人识别系统。　　 7)本文最后基于文中提出的新算法和新模型，构建了一套双生物特征的身份识别系统。本论文的研究内容不但在人脸识别和说话人识别理论层面具有一定的参考价值，更关键的是本文的研究结果对于设计开发鲁棒、适用的身份识别系统具有一定的借鉴意义，所提出的若干关键技术已经获得了实际的应用。