图像标题生成是自动给图像生成一个描述性标题,这是一个结合计算机视觉和自然语言处理的重要研究方向。图像标题生成可以辅助图像搜索和视频搜索,有着巨大的应用价值。当前主流的方法是基于注意力机制的图像标题生成。虽然图像标题生成已经被研究了很多年,但是现有方法生成的标题和人类给出的标题相比还是有很大的差距。本文主要是对基于注意力机制的图像标题生成进行改进,提高模型生成的标题的质量。本文在两个方向上对图像标题生成进行了改进,分别是注意力机制和对抗训练方法。本文的第一个工作是对图像标题生成的注意力机制进行改进。大部分的图像标题模型都是每次生成一个词就要关注一次图像。只关注一次图像容易忽略有用的信息,于是我们提出每次生成一个词可以关注多次图像。我们提出了Two-LSTM Merge模型,该模型可以在不增加参数量的情况下关注多次图像。我们的模型用两个LSTM分别对词序列和Attention序列进行编码,还用一个多模态层融合图像和两个LSTM的信息用来对下一个词进行预测。我们用MSCOCO数据集来评估这种方法的效果。实验表明,关注多次能提高图像标题模型的CIDE和SPICE等分数。我们的分数也超过了学术界上一年最好的方法的分数。本文的第二个工作是对图像标题生成的对抗训练方法进行改进。生成对抗网络能使模型生成的标题更加接近人类标注的标题。早期GAN方法中的判别器只将给定的标题和对应的图像进行对比,来判断该标题是不是人类标注的。我们提出,判别器还可以将给定的标题和参考的标题进行对比,这个对比也能反映给定的标题的质量。我们用孪生网络对给定的标题和参考标题进行编码。此外,我们还用WGAN来加快模型的收敛速度。我们也用MSCOCO数据集来评估这种方法的效果。实验表明,将给定的标题和参考的标题进行对比能提高图像标题模型的效果。