图像描述任务就是给定计算机一张图像,让计算机自动地生成一句符合图像内容的描述语句。图像描述所用的技术包括计算机视觉与自然语言处理,这是人工智能的两个主要研究领域。图像描述任务首先让计算机识别图像中的目标、理解目标间的属性、发现各目标物体之间的关系,甚至一些抽象的概念,然后再通过解码器将这些图像目标和相互间关系转化为语义信息向外输出,即是生成符合图像内容并且语法正确的描述语句。该任务在盲人视障、儿童早教、人机交互、游客导航等多方面有着不可估量的应用前景。本文在编码器和解码器的两方面对模型进行改进,利用更高效的特征提取网络和对解码器的注意力模型进行改进,使得图像描述模型能生成更准确、具体的描述语句。本文的主要研究内容如下:（1）对解码器进行改进,提出一种改进的三层LSTM网络的图像描述生成模型。从模型总体框架来看,模型在编码器阶段使用Res Net-101网络提取图像特征,在解码器阶段使用改进的三层LSTM网络模型对提取到的图像特征进行解码,生成描述句子。具体地说,提出的解码器包括三层LSTM网络,其中每两层LSTM网络间使用空间注意力模型进行连接,以增强注意力机制的效果,对三层LSTM网络的结构进行设计,分别是第一层注意力LSTM、中间层注意力LSTM、顶层语言LSTM。在MS-COCO数据集上的评价指标对比结果表明,本文提出的基于改进的三层LSTM网络的图像描述生成模型能合理利用特征信息,能生成更准确、具体的描述语句。（2）对编码器进行改进,提出采用Faster R-CNN网络替换Res Net-101网络用来获取图像特征信息。具体地说,模型在编码器阶段使用Faster R-CNN网络提取图像显著区域的图像视觉特征,这样做可以增强模型对图像中目标的识别能力,在解码器阶段使用改进的三层LSTM网络模型。同时针对使用交叉熵损失函数对模型进行训练时存在的曝光偏差等问题,提出使用一种自批判序列训练的强化学习优化方法,通过策略梯度优化来解决训练和测试之间的曝光偏差等问题。在MS-COCO数据集上的评价指标对比结果表明,本文提出的基于Faster R-CNN网络和强化学习的图像描述生成模型能提取到更丰富的图像特征信息,能生成更加符合图像内容的描述语句。（3）为了评估本文所提出的两种图像描述生成模型的性能,在MS-COCO公开数据集、Flickr30K数据集上分别进行了实验和使用常用的评价指标对模型进行评估。同时为了与其他流行的图像描述生成模型对比,我们进行了可视化实验分析。评价指标和可视化对比结果表明,本文提出的基于改进的三层LSTM网络的图像描述生成模型和基于Faster R-CNN网络和强化学习的图像描述生成模型能够更有效地提取图像特征,并对图像特征和语义特征进行全面的解码,提高了生成描述语句的准确性。