近些年,随着大规模数据集的出现,深度学习因其出色的计算能力在很多传统的计算机视觉任务上取得了巨大的成功,尤其是图像识别领域的图像字幕生成任务。但是,现有的研究都是将图像划分到一个或者多个离散的标签中去,它既没有描述出图像中各个对象的关系,也没有描述出图像中正在发生的事情。针对这个问题,本文利用最新的深度学习技术设计出能够连接图像与自然语言的模型,从而实现图像字幕生成。本文设计的模型主要包含两个部分,一个是图像特征提取部分,另一个是语言建模与生成部分。图像特征提取部分采用预训练的卷积神经网络作为特征提取器,语言建模与生成部分采用有着循环结构的LSTM网络。在此基础上,本文设计出两种方式连接这两个部分,并将其搭建成为一个可以采用端到端训练的神经网络。(1)采用全连接的方式连接这两个部分,即将来自卷积神经网络的全连接层特征与LSTM网络连接起来。这种方式操作简单、计算量少,在一定程度上也能够实现基本的图像字幕生成,它的缺点是只在初始化时利用了图像的全局特征信息,而忽略了图像内容之间位置信息。(2)采用一种新的基于注意力机制的方式,该方式较为复杂且计算量大,但是它可以充分利用每个位置上的图像特征产生更优秀的结果。这种方式首先提取来自卷积神经网络卷积层的二维图像特征,然后通过两个全连接变换将图像特征向量与单词向量变换到相同维度的空间,接着计算变换后两个向量之间的相似度来当作模型注意力的大小,最后利用带有注意力的图像特征与单词向量来产生下一时刻的单词。(3)在数据集Flickr8K及其中文版Flickr8K CN上训练上述两种模型,从而实现了图像中英文两种语言的字幕生成。实验证明,该模型对不同语言都有很好的适应性,并且带有注意力机制的模型在各种评价指标上都优于不带注意力机制的基础模型。