传统的基于单一模态的信息搜索方式,例如关键字搜索,以图搜图等,已经逐渐无法满足人们的实际需要。如何把网络上的多模态信息进行整合,将语义一致的信息关联起来,从而发掘出有用的信息,一直是多媒体研究领域长久以来的热点问题。跨模态检索的关键在于如何对不同模态的数据进行特征表示,以及如何将这些多模态特征关联起来。现有的基于深度学习的跨模态检索方法通常是将来自不同模态空间的数据投影到同一个多模态子空间中,生成分布一致的嵌入向量。将跨模态检索问题转化为子空间中嵌入向量之间的相似度排序问题。然而,现有的基于深度学习的跨模态检索方法对文本特征的单词级别的向量映射往往充斥着很多冗余,生成文本嵌入向量很难正确挖掘文本的高层语义信息。针对这一现象,我们分别从两个不同的角度提出了改进的跨模态检索方法。本文的工作内容如下:(1)针对图像特征和文本特征之间缺乏交互的问题,我们设计了一种基于多层级语义交互的跨模态检索方法。在现有的基于视觉语义联合嵌入的跨模态检索方法基础上,我们把文本单词嵌入向量特征逐个与图像特征向量进行多层级语义交互,并且利用交互信息对文本特征向量进行补充,生成融合多层级语义交互信息的文本嵌入向量。实验结果表明,这种基于多层级语义交互的检索方法可以使得语义相关的文本特征和图像特征之间的关联更加紧密,从而显著提升模型的检索效果。(2)针对句子级别的文本嵌入向量容易忽略图像中主题信息的问题,我们设计了一种基于主题补充的跨模态检索模型。首先,我们根据初始化一个外部主题矩阵,接着结合多头自注意力机制对每个文本词嵌入向量进行权重处理,并据此对文本向量和主题矩阵进行更新,再通过文本向量和主题信息之间的相互作用和补充,生成融合深层主题信息的文本嵌入向量。实验结果表明,这种基于主题补充的跨模态检索方法可以更好地挖掘文本模态的深层主题信息,从而减少文本数据中冗余信息的干扰,从而显著地提升模型的检索效果。为了更客观的评价我们提出的跨模态检索模型,我们还分别设计了不同词嵌入向量维度、子空间中不同嵌入向量维度、不同交互层级以及不同主题个数等多个实验场景,来深入探讨我们提出的改进的跨模态检索模型的有效性。