在众多生物特征识别技术中,人脸识别因其非接触式、较远距离、低成本和沿袭了人类视觉习惯,应用场景更加广泛,已得到广泛关注和较大规模应用。但是在实际应用中人脸识别受到面部表情、姿势、化妆、遮挡和光照变化等因素的影响,常难以达到实验环境测试中的识别精度水平。由于社交网络和文化的发展,无处不在的视频监控和个人拍照环境,使得人脸图像易被不法分子获得并用于伪造人脸,借此哄骗人脸识别系统。因此,仅仅依靠人脸特征无法满足高精度、高安全性要求的应用场景,而融合多种生物特征进行融合识别则普遍被认为是一种有效的解决方案。人耳识别与人脸识别一样具有非接触式和较远距离识别特点,并且人耳具有稳定的3D结构,几乎不受年龄和表情变化的影响。根据人脸和人耳的生理结构和位置特点,结合二者进行多模态身份识别是一种很自然的选择。值得一提的是,人耳易受头发遮挡的现象,则成为了保护人耳特征不被不法分子获取和冒用的积极因素。本文将研究基于深度学习和稀疏匹配的脸耳身份验证,主要包括如下三个方面:第一,在人耳检测方面,提出使用多任务检测网络同时检测人耳边框和关键点,并根据脸耳位置关系降低人耳误检率。本文通过人耳关键点确定耳长轴和方向信息,提取包含更少背景信息的人耳图像,减少头部俯仰姿态对人耳识别的影响。第二,提出一种多模态深度学习网络模型,模型包含三个网络分支,即人脸、人耳单模态网络分支和多模态网络分支。在两个单模态网络中间卷积层,将输出的人脸和人耳卷积特征进行融合后输入到多模态网络分支,最后融合三个网络分支的输出进行身份验证。实验结果表明,融合三个网络分支进行身份验证能够显著提高验证精度。第三,研究基于深度学习特征和稀疏匹配的脸耳多模态身份验证方法,包括提出一种新的基于稀疏匹配的相似度指标;提出和验证了随机小字典对保障稀疏匹配效率和性能的可行性;揭示了字典类间可分性对稀疏匹配身份验证准确性的正相关性。