图像描述任务是让机器自动为图像生成对应文字描述的一项任务,该任务属于计算机视觉与自然语言处理的交叉领域,处理对象包括图像和文字两种模态信息,属于多模态任务。相比单一模态任务,图像描述任务更贴近实际应用场景,被广泛应用于各个领域。为了更好地生成图像描述,让机器能够学习多领域的知识变得更“智能”,本文提出基于多任务学习的图像描述算法,通过加入辅助任务的方式使机器具有多领域的“智慧”。本文将针对图像描述任务中图像关键区域信息提取不足、从图像到文字的模态转换过程中特征利用不充分、模型训练与评估不一致等问题进行研究,本文的主要研究内容有:(1)在图像特征提取部分,加入图像多标签分类任务作为辅助任务。经过预训练的多标签分类器包含丰富的有关种类识别的图像表示信息,可以使提取到的特征更偏向图像中的关键区域,除此之外,将标签转为向量表示与提取到的图像特征一起作为下个部分的输入,可以丰富提取信息,改善信息提取不足的问题。(2)在生成图像描述部分,加入语言模型任务作为辅助任务,本文将标签和描述组合作为语言模型的预训练数据,语言模型将根据标签生成文字描述,经过预训练的语言模型包含了丰富的语义信息,协助主任务从图像特征中更充分的抽取语义信息,进而生成最终的文字描述。(3)针对图像描述任务中易于出现暴露偏置问题,且训练阶段与评估的不匹配导致即使损失值下降也无法提升模型效果的问题,本文提出基于强化学习的方法训练图像描述模型,将评估方法用于奖励函数的计算,以解决上述问题。在本文中,算法的基本框架是基于编码解码框架实现的,其中编码部分提取图像特征,解码部分实现图像描述的生成。实验结果表明,加入辅助任务对于模型效果的提高有显著作用,基于强化学习的训练方法对于以上问题的解决有明显效果。