近年来图像描述生成技术逐渐成为一个新的研究热点。图像描述主要是研究通过机器理解图像内容并生成描述文本的方法。然而,图像的机器解读常常会受到图像自身背景等非显著性信息干扰,使得图像描述容易产生偏差。本文提出了一种多重注意力的图像描述模型,采用Faster rcnn提取图像特征作为编码层,用多重的注意力模型LSTM-Attend进行解码,生成描述文本,并采用强化学习中的策略梯度优化来对模型中的参数进行优化,模型在常规图像数据集的实验结果验证了模型具有很好的图像理解和描述文本生成能力,生成文本效果优于目前流行的同类模型。此外,针对医学图像诊断文本生成领域中的深度学习训练过程中容易出现信息遗忘和损失的情况,本论文搭建了一个多模态汇聚层有效地将医学图像信息和文本信息进行融合,并在此基础上提出一种反复回看的图像描述方法,在encoder-decoder框架上,将医疗图像抽象为向量化的表达,作为解码层LSTM的初始向量,同时在解码的过程中,采用多模汇聚方式,该模型在X射线医疗影像数据集上验证了模型的有效性,与当前同类模型相比,具有更好的性能。本文所提出的两个基于图像描述生成的深度学习模型,分别在常规图像数据集及医疗图像数据集上进行实验验证,实验表明,采用多重注意力机制在编码层可有效避免非显著性信息的干扰,也可以为解码过程中选择性地输出相对应的描述文本。而采用的反复回看方法,及多模态汇聚能有效融合信息,对整体性能起到了明显提升的效果。