人脸视频生成是计算机视觉中的研究热点,有着广泛的应用场景。语音驱动的人脸视频生成是指通过视觉与听觉双模态的输入来生成唇音同步的高自然度人脸视频。人脸视频生成任务的主要挑战是如何在保证人脸面部真实性的同时,生成语音同步且连贯的人脸视频。传统的人脸视频生成方法主要采用了基于卷积神经网络的自编码器模型,使用视频和音频的联合嵌入作为输入,并通过视频编码器和音频编码器分别进行特征提取,再将提取到的视频人物特征以及音频特征输入到解码器中,最终生成说话人脸的视频帧。现存在的问题是:首先,传统方法仅用L1损失来训练模型,容易出现生成人物面部图像较模糊、视觉质量不佳等问题;其次,传统方法仅将其考虑为多个单帧的视频生成,而不考虑视频帧间的时序关系,从而导致生成的视频存在不连贯性,且容易出现像素抖动等问题。针对上述问题,本文提出高质量唇音同步的生成对抗网络来完成人脸视频的生成任务,其中包括基于Dense Net的视觉质量判别器和基于LSTM-CBAM的音视频同步判别器,本文的主要创新工作如下:（1）提出了基于Dense Net的视觉质量判别模型,辅助生成更高质量的人脸视频。本文采用生成对抗网络作为人脸视频的生成方法,模型包含一个生成器和一个视觉质量判别器。生成器由自编码器构成,通过编码器对音频和视频进行特征编码,再由解码器重构出新的视频。视觉质量判别器采用Dense Net,用前馈方式将每一层都与其他层相连来提高特征重用,并使用L1损失和交叉熵损失共同约束训练模型,从而生成更高质量的人脸视频。本文在LRS2数据集上进行实验分析,结果表明加入Dense Net的视觉质量判别器生成的视频帧FID值降低了4.8%。（2）提出了基于LSTM-CBAM的音视频同步判别模型,辅助生成唇音同步的人脸视频。音视频同步判别器中利用LSTM模块来学习不同时刻下输入音频数据之间的联系,编码训练数据中的音频信息,并利用CBAM模块从通道和空间两个维度依次推断出注意力映射,对音频信息和嘴唇区域特征细化,从而判断口型与音频同步情况。本文在LRS2数据集上进行实验,结果表明加入LSTM模块和CBAM模块的音视频同步判别器生成的视频,准确率相比现有模型提高了6.89%。（3）提出了高质量唇音同步的生成对抗网络模型,生成真实自然的唇音同步人脸视频。该模型结合了基于Dense Net的视觉质量判别器和基于LSTM-CBAM的音视频同步判别器方法来完成人脸视频生成任务,通过生成对抗方法解决了传统方法生成的视频模糊问题,通过预训练的同步判别器解决了视频帧之间的不连贯问题。在LRS2和LRW数据集上进行实验,结果表明加入视觉质量判别器和音视频同步判别器有更出色的生成效果。