文本生成序列图像是一项融合计算机视觉和自然语言处理两个方向的跨模态任务,该任务通过输入的文本描述,生成符合对应语义信息的序列图像。由于文本描述能够生成多个不同的图像,因此生成语义一致且分辨率较高的图像是一个极具挑战性的任务。生成对抗网络由于自身独特的对抗机制,被广泛应用于解决文本生成图像的任务。然而生成对抗网络的模型训练难以收敛,文本生成序列图像仍然面临着生成图像的对象布局混乱、上下文信息难以提取以及文本图像不匹配等问题。基于以上存在问题,主要研究内容如下:（1）提出了一种基于场景图的文本生成序列图像方法。通过生成对抗网络进行文本生成序列图像的任务可以生成分辨率较高的图像,然而当输入的文本涉及多个对象和关系时,生成图像的对象布局容易产生混乱,生成的对象属性与场景位置信息不明确。针对该问题,本文在Story GAN的基础上提出了一种基于场景图的文本生成序列图像方法。首先,引入图卷积将文本信息转换为多个场景图,由节点和边关系预测图像的边界框和分割掩膜,并生成对应序列图像;然后,通过上下文编码器对文本编码,生成序列图像;最后,将两个生成网络生成的图像信息进行融合,生成符合对象关系的序列图像。实验结果表明,在CLEVR-SV数据集上,该方法的SSIM比Ge Ne Va提高了1.7%,FID降低了5.08%,R-precision提高了2.49%。在Co Draw-SV数据集上,该方法的准确率比Ge Ne Va提高了3.44%,Human rank降低了2.77%。（2）提出了一种基于对比损失的文本生成序列图像方法。目前的文本生成序列图像方法在处理单句文本描述时生成的图像分辨率和质量较好,然而当输入信息涉及多句文本时,生成的图像序列容易出现文本的上下文信息难以提取、生成的序列图像间连贯性较差的问题。针对该问题,本文提出了一种基于对比损失的文本生成序列图像方法。首先,通过段落编码器和时间卷积网络对文本信息进行整合处理,使各个文本间信息随着时间线相互联系;然后,将信息转化为多个场景图,根据场景图生成场景布局,进而生成序列图像;最后,利用对比损失训练网络模型。实验结果表明,在CLEVR-SV数据集上,该方法的IS比Attn GAN提高了3.93%,FID降低了3.35%。在Co Draw-SV数据集上,该方法的IS比Attn GAN提高了2.08%,Human rank降低了1.83%。（3）提出了一种基于语义重构约束的文本生成序列图像方法。生成对抗网络模型存在文本与图像信息不匹配、语义一致性和准确性较低的问题。针对该问题,本文提出了一种基于语义重构约束的文本生成序列图像方法。首先,通过文本注意力编码器,利用全局注意力,增强文本语义特征的提取;然后,将信息输入到时间卷积网络和场景图网络中,生成场景布局;接着,引入空间语义感知卷积网络,将上一张生成的图像特征与文本信息进一步融合,与场景布局一同输入到级联细化网络,生成更符合语义描述的序列图像;最后,根据序列图像进行语义重构,由再次生成的文本描述与原始文本进行损失计算,优化训练模型。实验结果表明,在CLEVRSV数据集上,该方法的IS比Obj GAN提高了2.91%,FID降低了1.18%。在Co DrawSV数据集上,该方法的IS比Obj GAN提高了1.68%,FID降低了1.09%。通过上述提出的三种文本生成图像方法,提高了含有多个对象的文本生成序列图像的准确性,增强了上下文信息的提取能力,提升了生成序列图像的准确性和语义信息之间的一致性,为之后的文本生成序列图像研究提供了一些参考。