随着人工智能技术的快速发展,生物特征识别技术在教育、医疗、军事、金融等各个领域得到广泛应用。尽管如此,在实际应用场合中,基于单一生物特征的生物特征识别系统常受到噪声干扰、非普遍性和抗哄骗能力差等诸多因素的制约,而利用多种生物特征信息的多模态生物特征识别系统可在一定程度上缓解单模态生物特征识别系统的部分缺陷,并且通过多模态生物特征融合显著提高系统识别性能。人脸识别采用非接触式图像采集,符合人类视觉识别习惯,并可隐蔽操作,应用场景和范围比指纹、虹膜识别等更加丰富和广泛。但人脸易受光照、姿态、表情、化妆和年龄等因素影响,人耳位于人脸附近,耳形状稳定,几乎不受表情和年龄的影响,结合人脸与人耳进行多模态识别,可提高系统的准确性和抗干扰能力,并增加可识别的角度范围。本文着重研究基于深度学习的人脸人耳检测技术和多模态融合识别,并设计和实现了一个基于脸耳多模态识别的考生签到系统。在人脸人耳检测方面,本文将头部图像划分和定义为人脸区域、人耳区域和头部区域,标注三类目标训练样本,采用Mask Scoring R-CNN检测技术框架进行训练和检测。由于人耳目标较小,训练样本有限,误检率较高。针对该问题,提出了一种人耳区域过滤算法,利用脸耳位置上下文关系,消除人耳误检,减少人耳检测框和掩膜的抖动现象。实验表明,本文所用方法以及训练的模型具有良好的性能,达到了较高的检测率。在脸耳多模态识别方面,本文研究了稀疏表示分类框架下的基于深度学习的脸耳多模态身份验证方法,该方法首先分别提取人脸和人耳深度学习特征,然后在稀疏表示身份验证框架中,在特征层或匹配层进行融合识别。本文通过实验研究和分析了两种融合方法的优缺点,以及深度学习损失函数中类内和类间距离约束对识别结果的影响。实验结果表明,结合深度特征和稀疏表示方法能够大幅度提高验证精度;匹配层融合的抗干扰能力优于特征层融合方法;基于提高类间可分性和类内一致性思想设计的损失函数能够带来明显的性能提升。最后,本文结合所提脸耳检测和识别方法,使用Pytorch和PyQt在Ubuntu系统上设计和实现了一个基于脸耳多模态识别的考生签到系统。该系统能够完全自动检测考生的脸和耳,验证考生身份信息,系统准确性高,界面简洁友好,具有一定应用价值。