随着互联网、移动通讯和社交媒体的快速发展,大数据时代已经来临,人们每天都会产生多种媒体数据。如何跨越不同模态数据高效准确地检索出用户所需要的相关内容是一个有重要意义的问题。近年来,跨模态检索在实际生活中有越来越多的应用,如搜索引擎、推荐系统、电子商务等领域,成为研究热点并取得不错的进展。但是跨模态检索仍然存在一些问题,如不同模态数据差异巨大,不同结构的数据存在异质鸿沟不可直接比较;而且在跨模态检索的实际应用中,查询数据和训练数据的分布也不同,这些都会给检索带来困难。针对模态鸿沟和查询数据分布差异的问题,本文从共享嵌入空间内如何保留相似度减小模态鸿沟的角度切入,结合语义平均嵌入做了深入探索和研究,提出了相应解决方法,并通过一系列实验分析来验证所提方法的有效性,本文主要研究成果如下:1)提出一种基于语义相似度保留学习和平均嵌入的跨模态检索方法。该方法在嵌入子空间中保留嵌入相似度以减小模态鸿沟,同时使用语义平均嵌入提高检索精度和鲁棒性。传统方法主要关注跨模态数据匹配对之间的距离,而忽视了模态内部同种类数据和跨模态不同类数据之间的距离。本文在嵌入空间内对模态内部和模态之间的特征进行距离约束以保留嵌入相似度,使得同类数据聚集在一起,不同类数据分散开以便检索。但是不同类数据并不能完全分开,而且存在远离中心点的异常数据难以检索。因此本文使用查询类的平均嵌入做检索以减弱查询数据差异性带来的影响。2)把本文提出的跨模态检索方法1迁移到多模态检索中。主流跨模态检索方法局限于两个模态,处理多个模态需要把所有模态两两匹配并多次训练模型,较为繁琐。本文把两个模态的嵌入距离约束损失线性的扩展到多模态,大幅降低了损失函数复杂度。本文所设计的模型结构十分简洁,各模态网络相互独立没有复杂的耦合,可以很灵活地迁移至多模态中,只需要训练一次模型便可以实现任意模态的互相检索。3)提出一种基于对抗学习的无监督跨模态检索方法。主流方法常常需要类别信息辅助才能提取比较优良的嵌入特征用于检索,所以针对跨模态检索的无监督方法研究比较少。本文试图在嵌入空间内约束嵌入之间的距离靠近其在原始媒体空间内的距离,以保留语义属性。然后使用模态对抗学习促进不同模态的嵌入特征融为一体,以去除模态固有结构带来的差异性。综上,本文提出的方法可以减弱模态鸿沟问题,所设计的模型有很灵活的扩展性,并丰富了无监督跨模态检索研究方向,在科学研究和实际应用中都有着重要价值。