跨模态检索技术是信息检索领域的研究热点,该技术是指通过放入一种模态的数据进行查询,之后检索并返回的结果是与查询时不同的另一种模态的数据,但两种数据的表达相关。当前跨模态检索技术存在的根本问题是不同模态的数据在表达上虽然都是表示同一件事情,即它们在语义上具有关联性,但是抽取出的底层特征所处的空间结构差异太大,即特征空间上存在异构鸿沟。处理好跨模态检索技术难题的关键是解决底层特征上存在的结构差异性、关联高层语义上存在的主题一致性。因此本文研究考虑的重点在于如何将这些截然不同的特征空间更好地互相关联起来。深度学习的发展现状及前景都有不错表现,因此若将深度学习下的关联方法应用到跨模态检索技术上,可以较好地解决跨模态检索面临的底层特征异构问题,有效地提升跨模态检索的性能,使检索出的结果更加准确。跨模态检索技术的研究目前还有很多待解决的问题存在,且该技术在现实生活中具有广泛的实用价值。本文就如何更好地关联不同模态数据的底层异构特征,针对这一研究目的在对跨模态检索建模时应用了深度学习下的关联方法,对跨模态检索任务进行了一系列的学习研究。文章的主要内容包括以下三个部分:（1）混合语义的栈式自编码器方法。为了在得到的关联特征基础上,充分利用高层语义关系,得到具有语义可解释性的语义空间,本文提出了混合语义的栈式自编码器跨模态检索模型。该模型首先是在栈式自编码神经网络上利用网络共享隐藏层学习得到不同模态数据具有相互关联关系的重构特征,接着再利用神经网络多分类算法在得到的关联重构特征下进行语义映射,从而加强了该模型的检索性能。实验结果显示该方法可行有效。（2）关联特征传播方法。为了充分利用深度网络各层中特征的信息,得到使两种模态数据关联性更强的关联空间,本文提出了基于关联特征传播的跨模态检索模型。该模型采用深度网络结构,其基本思想是强化深度网络各层之间的关联关系,即前一层具有一定关联的特征经过非线性变化传到后一层。该模型可以更好地学习得到使两种模态关联性强的关联空间。经过在两种图文数据集上验证,结果表明该方法提升了检索的平均精度均值。（3）跨模态检索系统。为了利用形象化的界面对比跨模态检索算法,本文设计与实现了跨模态检索系统。该系统设置的功能模块条理清晰,实现了选择模型、选择数据库和检索结果三大模块。该系统较好地展示了不同数据库下的跨模态检索算法结果。本文主要采用了深度学习下的关联方法进行跨模态检索的建模,同时考虑了关联建模和语义建模。以上研究内容对提升跨模态检索的性能具有实用价值。