视频字幕生成技术是利用计算机模型为视频中的特定目标和场景生成相应文本标注的技术。它涉及到对物体、人物、场景、事件、时间关系和其他许多方面的理解。最近几年,国内外的研究方法主要集中在将注意力机制施加在不同模态上并将这些模态在同一层次上进行融合。然而,此类方法在融合的过程中并没有考虑具体模态之间的区别和联系。本文围绕解决模态融合不完善和不同模态特征表述不精良等核心问题,提出了一种基于层次型注意力的模态融合方法。且本文还利用基于RPN（区域建议网络）的全卷积语义分割模型提取视觉特征,消除背景特征冗余。并通过CNN+RNN网络学习高级语义标签之间的关系从而提高语义模态特征的准确性。本文的主要研究工作如下:本文重点研究了如何训练全卷积语义分割网络来标注区域建议特征中的目标区域,通过一对一的坐标映射在目标特征中找到相应特征区域,组合生成最终的特征矩阵。文中的视觉特征提取方法不仅能够解决背景特征冗余问题,还可以弥补基于注意力方法中的特征映射分割对于对象完整性破坏的缺陷。实验证实本文提出的基于全卷积语义分割的视觉特征提取方法在多个测评标准上都比传统方法高出1.5%-2%的效果。本文利用CNN+RNN框架来实现视频的多标签提取任务。通过循环神经网络（RNN）对于时序的敏感性,模型能够有效的学习视频中不同标签之间的联系,并提高生成高级语义信息的质量。实验证实将本文中利用CNN+RNN框架学习的高级语义标签作为模型的高级语义特征,可以使模型效果提高1%-2%。本文将传统注意力机制和多模态融合技术作为基础,提出了一种层次型注意力的模态融合方法。通过分层处理不同的模态信息解决了传统单层模态融合方式存在的无法有效区分不同模态区别和联系的不足,最终达到提高视频字幕生成质量的目的。实验证明,本文提出的层次型注意力的模态融合方法能够生成更加准确的视频字幕,在BLEU和CIDER等评价标准上均高出传统模态融合方法1%-1.5%。除了上述对于算法模型的创新之外,本文还完成了以下几项重要的工作。首先,通过数据的收集和整理来提供足够的训练集和验证集样本。其次,利用机器学习框架对文中所提出的几种算法模型进行编码实现。然后,将整理出的训练集样本输入完整的算法模型中进行训练和调参。最后,将整理出的验证集样本输入训练好的模型当中进行性能的测试。