图像描述是一项图文融合的技术,目的是用文字对图像内容进行概括性描述。在图像检索、机器人问答、儿童教育等领域具有广阔的应用前景。目前图像描述生成的描述语句的准确性和生动性有待提高,本文基于图卷积神经网络和注意力机制对图像描述任务进行研究分析,主要工作如下:第一,提出基于Dense Net和自适应注意力机制的图像描述模型D-ada。考虑到图像描述很难正确提取图像的全局特征,同时大多数注意力机制方法强制每个单词对应图像区域,忽略了描述文本中“the”等词无法和图像区域一一对应的现象。本文提出具有视觉哨兵的自适应注意力机制模型:在编码阶段,引入密集连接网络来提取图像的全局特征,与此同时,在每个时间轴上,通过自适应注意力机制设置哨兵门决定是否利用图像特征信息用于单词生成;在解码阶段,使用长短时记忆网络作为图像描述任务的语言生成模块。论文中使用Flickr30k和COCO数据集对自适应注意模型进行性能测试,通过实验验证表明,本文提出的模型在BLEU和METEOR评估标准上有明显提升。第二,提出了一种基于图卷积网络的图像描述模型GCN-ada。针对编码-解码的图像描述框架中没有充分研究视觉关系利用问题,我们推理这种视觉关系来丰富视觉语义,在语义和空间级别上对关系进行建模,通过视觉连接增强图像编码器来进一步提高图像描述生成的句子质量。GCN-ada模型在D-ada模型基础之上进行改进,首先利用密集连接网络提取一组显著图像区域,并在检测到的区域上建立有向边的语义图;然后利用图卷积网络丰富结构化语义图和空间图中具有视觉关系的区域表示;最后将学习到的每种关系的关系感知区域表示输入到具有注意力机制的LSTM解码器中生成句子。在Flickr30k、COCO图像描述数据集上进行的实验验证了本文提出的使用视觉关系来丰富区域级表示最终增强了图像描述的生成的语句质量。本文首先设计了一种基于自适应注意力机制模型D-ada用于改善描述文本与图像对应问题,提高模型描述效果。接着提出在D-ada模型中加入图卷积网络来探索图像描述对象之间的联系,增强图像中对象的细化描述。