异质人脸图像包含了通过不同成像方式获得的表达形式各异的人脸图像。这些不同模态的人脸图像为目标人物的描述和分析提供了更加多元的角度。异质人脸识别正是寻找这些角度的共通性以匹配同一人物异质图像的技术。广义上来说,该技术的研究内容也包含了以实现异质图像的相互转换为目标的异质人脸图像合成。作为该技术的一个重要分支,素描-照片人脸识别及其包括的素描-照片人脸合成技术可被广泛应用于刑侦执法和数字娱乐等领域,具有不俗的应用价值和学术意义。然而,目前相关的研究工作主要集中在有约束条件下进行,无约束环境仍然是该技术面临的一项巨大挑战。为此,本文以素描图像和可见光照片为研究对象,重点研究了年龄变化、部分遮挡场景下的异质人脸图像合成与识别。结合生成对抗网络和注意力机制,从图像转换和图像识别两个方面提出方法,分别克服无约束环境对图像合成效果和识别准确性造成的影响。图像转换方面,本文提出一种基于双重对偶生成对抗网络的跨年龄素描-照片转换方法。通过建立双重对偶生成对抗网络,分别学习源年龄域和目标年龄域之间的映射与逆映射、素描域和照片域之间的映射与逆映射,从而在年龄和风格两种属性下均实现图像的转化与重构,实现双重对偶。并借助两种属性下的重构图像建立重构身份损失和完全重构损失,以约束图像生成过程。使用年龄估算软件分别为四个公共数据集及网络抓取数据添加年龄标签,通过与相关方法对比后的实验表明,本文算法得到的转化图像可以在风格转换的同时也准确地完成年龄跨越,并有效保留身份特征,具有一定的泛化能力。图像识别方面,为了减少由部分遮挡引起的图像信息缺失对素描-照片人脸识别的影响,本文结合注意力机制提出一种基于三元差分孪生网络的遮挡鲁棒素描-照片人脸识别方法。该方法利用编码器将输入图像投影到公共子空间,在子空间中完成对遮挡区域的处理及匹配识别,以减少模态差异。所提出的三元差分孪生网络通过引入注意力机制构建了掩膜生成器,通过输入完整人脸和遮挡人脸特征之间的差分信号,学习图像遮挡区域和被破坏特征之间的对应关系,以便在识别阶段发现并丢弃这些无用特征。并引入内容损失函数和模态损失函数作为约束,促使该网络排除模态干扰,更加准确地定位因遮挡而导致偏离真实值的特征元素。利用修图软件在两个公共数据集中人为合成遮挡块,相应实验结果表明,本文算法架构可以有效识别包含部分遮挡的素描、照片人脸图像。