图像自动描述生成是一个结合了计算机视觉、自然语言处理的跨模态研究问题,它的目的是能够将图像中的内容转译为符合人类习惯的自然语句描述,可以看作是对图像信息进行描述的任务,它可以为视觉信息自动生成描述。近年来,通过卷积神经网络提取图片中词特征的主要趋势。当前大多数的Image Caption（即图像自动描述生成）方法基于二段式编解码模型即encoder-decoder结构。然而目前主流方法对于图像特征的处理方式离有效提取图像中的语义信息还有一定差距,因而输出结果还不够理想。首先,本文对比学习并研究了近几年国内外图像方法,发现目前主流模型在图像特征提取阶段中主要提取单一的某种特征信息,即提取特征在类型与尺度上过于单一,无法生成全面的图像描述,并且单一的图像特征往往会导致识别错误致使文本输出内容错误。对于内容丰富的图像来说,单一特征的无法覆盖图像的完整语义信息,均存在一定缺陷。本文考虑在分别提取两种特征后通过自注意力模块来对分配图像特征权重来融合所有特征,以获取尽可能丰富以及准确的语义信息。其次,本文对于如何在生成语句中增强对物体的细节描述,使物体描述更加细致,使得输出描述在局部目标描述上更加完整进行了研究。目前图像自动描述生成方向使用的特征是经过卷积神经网络和区域候选网络提取的图像特征,将图像特征作为输入通过语言模型生成图像描述。为了使得模型能够和人一样通过控制对于视觉信息中主次信息进行筛选剔除噪声信息以及冗余信息,在任务中引入注意力机制企图达到同样的效果。但是目前的注意力机制是将图像特征中的有用信息和冗余信息同时作为输入特征,而冗余信息的存在直接影响了模型的准确性,导致忽略部分语义信息。本文从位置聚类的角度改进结果和特征之间的相关性,从而使模型能够针对性的学习物体区域特征与包含其细节信息的网格特征的互补关系,从而提高模型输出的完整性。最后,本文通过在Image Net数据集、Visual Gerome数据集和MS COCO数据集上进行训练,并在MS COCO数据集进行图像自动描述生成测试。通过与前人的研究方法验证了本文模型的有效性。