视频描述任务的目标是给定视频片段,算法自动生成与视频内容相应的描述文本。本文的研究内容着重于对短视频片段的描述文本生成,通常短视频片段仅包含一个动作或事件,生成的描述文本为一个英文句子。主流的视频描述模型使用循环神经网络来学习视频特征序列和单词序列内部的时序依赖关系,以此获得对视频和文本内容的向量表示。由于循环神经网络的结构特性,这样的模型存在无法并行计算和时序依赖关系不够灵活的缺陷。为了提高模型的计算速度且学习更好的时序依赖关系,本文提出了基于多头注意力机制的视频描述基线模型,该模型训练阶段可并行且可得到更好的视频与文本内容的向量表示。此外,在数据输入层面,由于视频数据包含多种模态的信息,本文在基线模型的基础上提出了多模态特征融合的视频描述模型,它可以自适应地控制不同模态特征对生成单词的影响,得到包含更多视频内容细节和表述更自然的描述文本。在模型的泛化性和实用性层面,由于现有的视频描述数据集规模小,涵盖的视频种类有限,本文在基线模型的基础上提出了基于半监督学习的视频描述模型,通过引入大量无监督的短视频数据预训练获得泛化性较好的视频帧特征去噪编码器,借助预训练模型提升基线模型在视频描述任务上的表现。同时引入多任务联合学习策略,用视频帧特征去噪的任务给视频描述的任务做正则化,进一步提高视频帧特征编码器的泛化性能。