社会的快速进步极大地激发了智能技术的创新发展。图像特征提取技术和文本自动生成技术都受到学术界的极大关注。近年来交叉学科和跨领域的研究受到巨大的青睐,尤其是融合图像和文本的深度学习研究,即图像描述生成技术。它是一个涉及自然语言处理和计算机视觉的综合性研究问题。本文详细介绍了图像描述生成技术的研究背景、国内外研究现状。并从多个角度和方向对常用的图像描述生成模型进行了分析研究。具体研究内容如下:(1)针对图像描述的广度和非相关性问题,设计了一种基于多级注意力的细粒度图像描述生成方法,以增强特定区域的图像描述。首先,利用视觉注意力机制融合图像全局和局部的细粒度特征。其次,利用联合注意力机制融合图像的视觉特征和标签特征,生成图像特定区域的描述文本。最后,使用基于注意力的长时短期记忆网络(LSTM)的语言生成模型来生成细粒度的图像描述语句。实验证明,该方法能有效地提高图像描述语句的针对性和准确性。(2)针对以往图像描述生成模型忽略文本信息特征的问题,设计了一种融合多角度多模态的图像描述生成方法。首先,该模型利用全局图像和局部图像的特征、利用基本的编解码模型生成图像的第一句描述作为输入;其次,利用句子编码网络将第一句输入生成文本语义特征向量;最后,利用注意力机制和文本语义特征向量融合图像特征,将其输入到基于注意力的语言生成模型中,以便生成下一句;以此类推,直到到达设置的语句上限。实验表明,该方法能够有效地利用多模态的特征信息生成多角度的图像描述语句。(3)在图像描述生成模型的训练过程中,生成图像描述语句的速度慢、效率低、时间成本高等问题,设计了一种基于Hadoop大数据平台的图像描述生成方法。该模型的设计是基于融合多角度多模态的图像描述生成方法的模型架构。它主要采用基于Map Reduce的分布式计算框架和基于HDFS的分布式存储系统,来处理大规模数据特征的问题。实验证明,该方法能有效加快图像描述生成模型的训练速度,极大地减少时间成本,提高了模型的效率和性能。