图像自动描述要解决的问题是生成描述图像内容的文本,该任务是一个融合了计算机视觉和自然语言处理的交叉学科。图像自动描述在智能人机交互、图文转换、视觉辅助、图像识别等领域都有着广阔的应用前景,能给人类生活带来极大的便利。图像自动描述需要将图像转换成文本,首先就涉及到图像特征的提取,高质量的图像信息的特征表示是该任务取得良好效果的前提。其次就是文本生成技术,当提取到图像特征之后,怎样将图像特征所蕴含的信息转换成语法正确的、语义通顺的、可读的自然语言,这也是一大难题。传统的图像自动描述研究主要有机器学习的方法、基于模板和检索的方法等,但是这些方法对图像特征的提取非常复杂,需要大量的人力物力,并且生成的文本质量不高。近些年来,深度学习中的Encoder-Decoder框架在图像自动描述中的应用变得非常流行,取得了不错的效果,但在编码和解码的两大阶段仍然面临很多问题。本文主要在深度神经网络的基础上,结合Encoder-Decoder框架的编码和解码过程,对图像自动描述算法展开了研究和探索,主要工作和贡献如下:1.在编码阶段,构建了一个卷积神经网络进行图像特征的提取。首先考虑到卷积神经网络在图像特征提取任务中的良好表现,本文构建了一个无全连接层的5层卷积神经网络来编码图像各个位置的图像特征,进行图像特征的初步提取。2.提出了一套注意力机制策略在不同时刻选取不同位置的图像特征。在卷积神经网络之后设计了一套注意力机制策略,该策略用来在不同时刻生成单词时,选取对其影响最大的区域位置图像特征,并将选取到的特征输入到解码阶段。3.在解码阶段,对标准的LSTM模型结构进行了改进,采用改进的LSTM来进行文本生成。在文本生成阶段,依然选取了经典的LSTM模型,但是LSTM单元只具备上一个已生成的单词信息,存在对上文信息理解不全的问题。改进的LSTM模型融合了上下文信息,将上文中已经生成的所有单词的信息输入到t时刻的LSTM单元,这样每个LSTM单元就具有了更全面的上下文信息。本文将上述提出的模型和方法融入到Encoder-Decoder框架,形成了一个完整的图像描述系统,并在MSCOCO数据集上进行了实验。通过对比其他同类型的算法模型,本文生成的图像描述语句在语义准确性、语法规范性和模型效率等方面都有一定的提升,取得了不错的效果。