人类自身所发出的声音与其面部图像之间存在着复杂的关联性,并且可从声音信号中推断出与该说话者面部有关的静态属性信息和动态变化信息。语音驱动人脸生成的任务正是挖掘语音信号与面部图像之间的静动态关联性,构建相应的视听觉跨模态图像生成模型,实现由给定的语音片段来生成静态人脸图像和动态人脸序列。现有的方法在研究静态人脸图像生成时多是利用时序对齐的视听觉数据集来实现身份一致的人脸生成,但是在实际测试过程中由于难以获取输入语音的真实身份,从而导致模型的生成效果不佳,并在一定程度上限制了模型的应用范围。因此,本文构建了基于条件生成对抗网络的语音驱动的静态人脸生成模型,利用属性对齐的语音-人脸数据集进行网络优化,以生成属性一致（性别、年龄）的高质量多样化静态人脸图像。同时,本文还构建了语音驱动的动态人脸生成模型,通过添加所设计的嘴唇判别器来改善现有模型中嘴唇运动与输入语音片段难以精确同步的问题,实现了嘴唇运动同步的高质量动态人脸序列生成。具体而言,本文的主要研究成果总结如下:1.构建了语音驱动的静态人脸生成模型,其利用引入自注意力机制的语音编码器精确提取语音信号中的听觉特征表示,并将听觉特征馈送到基于条件生成对抗网络的静态人脸生成器中,在添加投影模块的图像判别器的更新优化过程中生成出属性一致（性别、年龄）的静态人脸图像,在属性对齐的语音-人脸数据集上对模型进行训练和测试,取得了优越的生成效果。2.建立了一个属性对齐（性别+年龄）的语音-人脸数据集（Voice-Face）。该数据集中的语音片段和人脸图像分别来自不同的数据集,通过将这两个模态的数据按不同年龄段和性别进行组合,实现了语音信号与人脸图像之间属性组合的对应关系。3.构建了语音驱动的动态人脸生成模型,其以语音片段和身份人脸图像为输入,综合语音编码器提取的听觉特征向量和图像编码器提取的图像特征向量,送入动态人脸生成器中,并将所设计的嘴唇判别器与图像判别器共同作用,交替更新动态人脸生成器,使生成的动态人脸序列中的唇部运动与输入语音片段精确同步。在相关的定性定量实验上验证了模型具有优异的性能。