图像作为一种常见信息载体,因获取方便且传播便捷而被广泛使用。随着互联网和移动设备的发展,图像数据呈现出爆炸式的增长。因此,对于图像的自动理解和高效利用成为一个亟待解决的重要问题。图像描述生成是解决该问题的核心和关键,旨在让计算机理解图像内容,并将图中场景和语义信息以自然语言的形式进行描述。它是涉及计算机视觉和自然语言处理学科的极具挑战性的交叉难点,已成为人工智能领域的研究热点。但是由于图像内容丰富、目标关系复杂以及语言表述多样,图像描述生成还存在众多亟需解决的问题。本文从图像文本信息的跨模态融合、图像描述的类别均衡化、图像区域的关联性分析以及图像多线索信息的利用等角度,构建图像描述生成模型,提升自动读图的准确性,主要研究成果如下:(1)提出一种基于图像文本融合特征和场景概率的图像描述生成方法。图像描述生成重要的步骤是融合图像和文字两种模态的信息。现阶段主要采用级联或按位相加等简单方式融合图文特征,所得融合特征不能充分表征图像文本两种不同模态信息的语义关联性。因此,本文设计了一种跨模态特征融合方法并应用于图像描述生成。首先,使用深度卷积网络提取图像特征。然后,设计基于频率统计算法和卷积定理的图像文本跨模态融合模块,计算各时刻的图像文本融合特征。然后,基于长短时记忆网络的注意力模块利用融合特征和生成模块的历史信息,为图像视觉特征分配恰当的权重。最后,将加权的图像视觉特征和注意力长短时记忆网络的隐藏层状态作为文本生成模块的输入,生成图像描述。另外,为解决图像描述生成的类别不平衡问题,提出场景概率从图像角度衡量描述是否常见,构建基于场景概率的改进交叉熵损失函数。实验结果表明,本方法可有效挖掘图像文本特征的潜在关联性并加强不常见图像的训练,图像描述性能明显提升。(2)提出一种基于关系理解的图像描述生成方法。利用Faster R-CNN网络检测图像显著性区域并提取这些区域的视觉特征和位置坐标。设计关系理解模块,利用显著性区域位置信息和视觉特征,在不同的关系子空间计算关系特征。将关系特征和已生成的文本作为注意力模块的输入,为显著性区域视觉特征分配合适的权重。文本生成模块利用关系特征和带权视觉特征,时序地生成图像描述。关系理解模块利用图像各区域语义和内容相关性分析它们的潜在联系,使得描述生成网络可准确理解主体复杂或场景不明确的图像。通过与其他基于深度学习特征的图像描述生成方法的实验结果对比可知,本方法在各个客观指标上性能均明显提升。(3)提出一种基于多线索信息的图像描述生成方法。为高效利用图像信息,构建多线索特征提取模块和多阶段特征融合模块。首先,提取图像显著性区域的视觉、位置和物体类别信息,构成多线索特征对。随后,设计多阶段特征融合模块,分两阶段计算多线索融合特征。在第一阶段中,设计位置类别感知注意力模块,利用已生成文本信息和多线索特征为物体类别和位置特征分配适当的权重;在第二阶段中,构建融合模块,利用感知注意力模块的输出和图像视觉特征共同计算多线索融合特征。最后,将融合特征输入文本生成模块,时序地生成图像描述。在MSCOCO 2014数据集上的实验结果表明,本方法在各个评价准则上均取得较好的结果,它可生成位置、类别等细节准确的图像描述。本文对图像描述生成的多个子问题进行研究:设计图像文本跨模态融合模块,加强生成阶段图文信息的交互;构建基于场景概率的改进交叉熵损失函数,解决图像描述的类别不均衡问题;设计关系理解模块,分析图像显著性区域的语义关联性;提取图像的多线索信息并设计多阶段特征融合模块,有效表征图像内容。在MSCOCO 2014数据集上的实验结果表明,本文提出的图像描述生成方法在各评价指标上性能均明显提升,为该技术实现工业化应用奠定了基础。