随着大数据时代的发展,尤其是深度学习的研究,使得人工智能产品逐渐进入人们的视野,而图像描述则是近年来一大研究热点,可应用于网络图片数量爆炸式增长背景下的图像检索,也可应用于自动驾驶技术中的交通标志描述,还可应用于医疗领域中视觉障碍人士的生活辅助等等。图像描述任务是一种融合了图像信息和文本信息的多模态任务,目的是使计算机自动生成一句对图片的文本描述,因此如何准确提取图像特征、生成可读性高且准确的文本描述是图像描述任务的核心问题。目前虽然图像描述任务有一定的研究进展,但由于该任务的复杂性,仍存在以下难点需要进一步研究:（1）主流的研究大多基于英文数据集,一方面由于英文作为全球第一大语言,大部分权威论文期刊以英文发表,关注度更高,另一方面由于公开的英文数据集比较完备。然而中文的受众人群广泛,但由于中文的语义、句式结构的复杂性以及中文数据集的稀缺,导致生成的图像中文描述可读性及连贯性差、存在错误描述、句子结构单一的问题,因而研究图像中文描述的任务具有极大的挑战,需要更多的研究与创新。（2）经典模型中编码器提取的图像特征只用在解码器阶段的第一个时间步作为网络输入,后续每个时间步利用前一时间步预测的词语作为输入,导致模型只利用了图像的全局信息而未用到图像的多层级视觉特征。（3）数据预处理时会将参考描述句子统一填充成固定长度便于网络结构设计,于是解码器阶段到某个时间步时必然将对填充符号进行无效的处理,导致模型耗时、效率下降。针对图像描述任务中存在的上述问题,本文提出了基于注意力机制和多层级视觉特征的图像中文描述模型（RES-ATT-LSTM）。主要研究内容如下:（1）在AI Challenger2017图像中文描述数据集上实现了一种新的图像中文描述模型。（2）提出了基于注意力机制的图像中文描述模型,训练时在损失函数中加入注意力分布的正则化项,模型输出时将注意力机制可视化输出。本文的注意力机制是指解码阶段将在每一时间步利用输入的所有图像特征和上一时间步预测的词语来计算当前时间步的注意力分布,进而得到经注意力分布加权的图像编码特征,再将加权的图像编码特征与上一时间步生成的词语一起作为解码器的输入来生成当前时间步的预测词语。同时,本文对注意力机制进行了可视化,在每个时间步生成预测词语时,将注意力分布取值最大的像素区域在图片中标注出来,以实现生成的描述词语与图片特征位置对齐。另外,在损失函数部分,由经典模型的交叉熵损失函数引入了时间和空间上的双重注意力正则化项。因此,基于注意力机制的模型与经典模型相比,能够较好地利用图像的多层级视觉特征,使得生成词语更符合人类视觉特点,可解释性更强。（3）提出句子排序机制。与之前直接在每一时间步依次输入词语和图像特征进行处理相比,将图片及其参考描述句子按照句子的有效长度进行排序,以保证只在非＜pad＞填充符输入的时间步进行处理来生成预测单词,可有效的节省解码时间,提高模型效率。综上所述,本文提出了一种基于注意力机制和多层级视觉特征的图像中文描述模型,模型以编码-解码模型为基础结构,结合注意力机制与句子排序机制,损失函数在交叉熵函数的基础上引入双重注意力正则化项,且对注意力机制进行可视化,为图像中文描述任务提供了新的思路。最后,为了验证本文提出的基于注意力机制与多层级视觉特征的图像描述模型（RES-ATT-LSTM）的可行性和准确性,在2017年AI Challenger竞赛提供的大型公开图像中文描述数据集和Flick8k CN数据集上进行了大量的实验以及消融实验,主要以BLEU1-4为评价指标,将RES-ATT-LSTM模型与经典NIC模型、改进的IRRU模型等进行比较,实验表明:（1）本文引入注意力机制和双重注意力机制正则化部分能为模型效果带来较明显的提升;（2）本文提出的RES-ATT-LSTM模型在两个中文数据集上都明显优于NIC模型、IRRU模型等。