图像描述作为融合自然语言处理和计算机视觉的新兴交叉研究方向,旨在实现对图像高层语义内容的理解,利用计算机自动给出关于该图像的文本描述,在帮助视觉障碍人员理解图像内容、图像检索以及人机交互等方面具有重大研究意义和潜在应用价值。目前,图像描述领域中普遍存在生成文本准确率低,不能准确地描述图像中内容的问题,本文针对上述问题,基于编码—解码框架,提出了一种融合区域与属性注意力机制的图像描述模型,具体工作如下:首先,融合区域与属性注意力机制的图像描述模型需要有图像的属性信息作为输入,本文因此进行了图像属性预测方法的研究,采用如下两种方法预测图像属性:(1)基于k近邻检索的非参数化的图像属性预测方法,利用相似图像具有的属性作为待描述图像的属性预测结果;(2)基于区域的多标签学习的参数化图像属性预测方法,通过神经网络直接输出图像中不同属性存在的概率。实验结果表明:基于k近邻检索的非参数化图像属性预测方法在预测图像中的名词性属性方面有优势,基于区域的多标签学习的参数化图像属性预测方法在预测动词和形容词性属性方面具有优势,将二者预测的结果进行融合可以有效提升图像属性预测的准确率。然后,针对图像描述过程中生成的文本不能准确地描述图像中的内容的问题,本文基于编码—解码框架,提出了一种融合区域与属性注意力机制的图像描述模型(Region Atrribute-Caption,RA-CAP)。针对 RA-CAP 模型中的图像编码模块、注意力机制融合模块以及文本解码模块分别进行了设计。此外,针对RA-CAP模型的训练问题,提出了一种具有双重正则化项的损失函数,使得模型在生成文本过程中不会持续关注某一区域特征或者属性。实验结果表明,本文提出的融合区域与属性注意力机制的图像描述方法在生成文本的过程中,与文本语义相关的图像区域和属性能够共同指导文本的生成,可有效提升图像描述的准确率。