近年来,人脸识别技术已经在安防领域有着极为广泛的应用。基于人脸草图的识别技术是其中一项十分重要且具有挑战性的研究方向,其在安防及法律方面有着显著的实用价值。犯罪嫌疑人的图像在很多情况下均很难获取,只能根据目击者的回忆进行草图绘制。因此,基于人脸草图的识别技术可以自动帮助警方迅速缩小查找范围,确定嫌疑人身份。人脸草图识别的机理是通过对草图及人脸图像之间的跨模态不变性特征进行挖掘,并通过特征匹配实现身份关联。目前人脸草图可以基于目击者的描述通过肖像师手绘或者绘画软件合成,然后在人脸数据库中匹配嫌疑人并确定嫌疑人的身份。但草图只能捕捉面部轮廓信息,而属性描述却可以提供人脸的语义信息(如性别,种族及发色等),很少有算法同时结合草图及属性的多模态信息去识别人脸,低层级的视觉草图以及高层级的语义属性信息可以相互补足来降低图像识别中的不确定性。因此,本文基于“生成式识别”的识别方式,提出了多模态生成对抗网络(MMC-GAN),分为多模态生成器及多模态判别器,可以根据草图及人脸属性生成真实的人脸图像。其中,多模态生成器不仅能够恢复人脸整体结构,而且能够很好的恢复关键的细节信息。同时,为了更好地在生成过程中利用多模态信息,本文还提出了基于残差结构的融合方式,使得不同模态的信息得以充分的利用。对于多模态判别器,属性描述同时作为输入条件进行真伪判别。同时,本文在生成过程中增强了草图及人脸图像之间的身份约束,使得生成图像更好地维持了原有的身份信息。因为在生成过程中人脸结构及局部细节得以保留,本文将利用生成的人脸图像做进一步的识别工作。本文首先利用度量学习的理论设计好人脸识别的网络模型,然后针对特定数据集设计出多模态识别任务的验证及检索测试协定,进行了大量人脸验证、人脸检索及充分的对比实验,最终的实验结果充分地验证了本文方案的有效性。