文本到图像生成是图像生成领域重要的一个研究方向,目的是将文本中描述的语义关系,运用图像生成技术还原并生成语义相关的图像。随着生成对抗网络的兴起和快速发展,文本到图像生成技术被提出并不断突破,同时也成为了机器视觉、人工智能领域的研究热点之一。文本到图像生成模型的性能很大程度依赖于生成对抗网络中生成器和判别器的好坏,本文针对生成对抗网络普遍存在模式崩溃引发的生成样本多样性不足等问题,在基于堆叠式文本到图像生成模型的基础上,引入互信息及皮尔逊相关系数等条件约束生成器和判别器,提出结合互信息最大化的文本到图像生成方法和结合皮尔逊重构的文本到图像生成方法,主要研究成果如下。1.针对文本到图像生成模型生成样本分布不均匀导致多样性不足的问题,提出了一种结合局部-全局互信息最大化的堆叠式文本到图像的生成对抗网络模型。首先利用生成模型将全局向量解耦得到不同尺度特征图;然后,通过最大化特征图与全局向量间的互信息,对图像全局特征与文本描述的相关性进行增强;最后,将特征图提取为局部位置特征向量,通过最大化局部位置特征向量与全局向量之间的平均互信息,加强局部位置特征与文本描述的相关性,得到更紧密的文本到图像的映射关系。通过实验分析和结果表明,该方法能有效提高生成样本的多样性和语义精确度。2.针对生成对抗网络中判别器收敛过快而无法为生成器提供梯度导致生成样本多样性和图像质量难以提升的问题,提出了一种结合最大化皮尔逊相关系数的文本到图像生成模型。该模型改进了判别器,令判别器能同时判别和编码,为模型提供了推理模型的同时限制判别器的判别能力,增强了判别器的泛化性能,使判别器和生成器的训练更容易达到纳什平衡。另外为了增强多尺度图像编码的一致性,提出了多尺度联合损失,令各尺度特征向量以输入组合向量为重构目标,建立一致的重构目标。通过实验分析和理论证明,该方法有效提高了生成样本的多样性和表述质量,另外插值实验表明,重构可以生成整体轮廓和风格与生成样本一致的图像,表明判别器改进的编码器能生成有效的特征向量。