视频标注技术能够分析视频所包含的信息,理解视频内容,对视频进行标注,并达到与人相媲美的准确度。随着互联网上视频规模的日益庞大,这使得迫切需要研究相关算法为用户找到其感兴趣的视频,而这些算法的研究都离不开视频标注,因此视频标注技术具有重要的意义。基于视觉特征的视频标注算法通过卷积神经网络提取视频帧的特征,然后随时间聚合帧特征,最后进行视频标注,但这种方法不仅在视频帧特征聚合时没有考虑到每个帧对于视频的重要性,并且没有加入音频特征,因此得到的结果是不够准确的。为了使对视频的标注更加精确,针对现有视频标注模型和算法的不足,通过对视频的视觉特征和视频的音频特征进行结合,提出了基于多模态的视频标注技术。首先,为了更好的提取视频的视觉特征,在提取帧特征之前首先对视频进行关键帧提取,剔除视频的冗余帧,然后利用深度卷积神经网络提取每一帧的视觉信息,并且在帧聚合时加入注意力机制,考虑每一帧对于视频的重要性,提出基于注意力机制的NetAC池化模型。在处理视频的音频信息时,首先提取音频的对数梅尔频谱,然后利用深度卷积神经网络对连续的音频手工特征进行处理,将处理后的多段音频帧特征输入到NetAC学习池聚合。将得到的视觉特征和音频特征融合,并通过门机制捕获特征之间的依赖关系,获得最终的视频特征,然后将视频特征输入到解码器,解码获得最后的视频标注结果。使用NetAC池化模型与多种池化模型分别在音频模态、视觉模态和多模态下进行了视频标注实验,验证了NetAC池化模型的有效性,以及音频作为视频的一个重要特征,可以有效的提高视频标注的准确性。