计算机视觉信息转换成文本信息能够在图像和文字之间建立起特定的对应关系,具有广泛的实际应用价值。当前基于卷积神经网络和循环神经网络的“编码器—解码器”框架是实现图像描述的有效方法,但是存在多个不足:1)图像特征表征能力不足,2)训练样本不均衡、不充分,均造成所生成的文字描述不够准确。本文针对上述问题开展研究以下工作。一、基于全景分割注意力机制的图像描述算法。针对现有基于物体检测的注意力机制中检测矩形框包含物体无关区域(例如,背景或与其他物体的重叠区域)的问题,提出基于全景分割的注意力机制,从相应的分割区域中提取被描述物体的特征,并分配注意力。与当前的基于物体检测的注意力机制相比,基于全景分割的注意力机制关注级别更细致,能够增强图像特征。为了独立处理前景与背景特征,本文实施的是双重注意模块。基于全景分割的注意力机制可以更准确地识别重叠的物体以及图片所在的场景,并且能够生成更准确的文字描述。二、基于语义增强模块的图像描述算法。针对图像描述模型的图像特征缺乏文字描述维度的语义特性的问题,提出基于语义增强模块的图像描述算法,结合图文匹配子网络提供语义判别信息。由于图文匹配网络的训练目标是将图像和文字描述进行匹配,这样选取的训练目标比图像分类或目标检测任务的目标更具语义性,使图文匹配网络能够获得更具语义性的图像特征。此外,专门设计了特征融合层,融合图文匹配子网络特征和物体检测模型特征,以增强图像特征,从而生成与图片更匹配的文字描述。三、基于极难负样本挖掘的图像描述算法。针对训练图像描述模型需要大量标注数据的问题,提出基于极难负样本挖掘的图像描述算法,研究自动生成训练负样本的方法,通过增加训练样本提高模型性能。为了使模型能够捕获不同图像的细微区别,生成具有判别性的文字描述,引入极难负样本加强训练。极难负样本与对应的正样本只有一个名词的差别,通过极难负样本训练,再利用图文匹配网络的反馈信息,增强模型学习细粒度单词间的语义差别,即提高模型对词间语义差别的判别能力,从而生成更准确的文字描述。