随着互联网的高速发展以及各种社交媒体软件的兴起,信息获取途径开始朝着多源化方向转变。随之而来的是网络环境中每时每刻都在产生规模庞大的数据信息,这些信息通常表现为文字、图片、视频、声音等多模态数据形式。多模态数据对相同事物的理解通常都会存在不同程度的互补性,通过对不同模态数据进行融合和统一表示,可以满足人们对多模态数据之间交叉检索的需求。因此,开展跨不同模态数据的检索方法研究具有重要的研究价值和广阔的应用前景。跨模态检索研究主要是通过挖掘多模态数据间的语义信息建立语义关联,从而实现数据间更加精确的交叉信息检索。当前针对跨模态检索的研究主要面临三个问题:首先是不同模态数据的底层特征结构不一致,导致数据间存在异构鸿沟;其次是通过计算机提取的信息底层特征表示与人类对高层语义信息的认知也存在较大的差异,使得两者间存在明显的语义鸿沟;此外,现有的跨模态检索技术通常不可扩展到大规模数据集,这极大地限制了被检索的多模态数据的规模和多样性。针对跨模态检索方法的研究,如何从大规模多模态数据的异构特征学习同构公共表示,缩小跨模态数据之间的异构鸿沟,克服不同模态内的语义鸿沟的同时保证同构公共表示的语义相关性,对于实现跨模态数据的有效度量具有重要意义。本文以文本和图像模态作为研究对象,主要研究工作如下:（1）针对不同模态数据特征表示的异构分布和潜在语义信息挖掘不完全、不充分的问题,提出基于语义自编码学习的跨模态哈希检索方法。该方法利用不同模态的特征标签,深入挖掘标签中丰富的语义信息,指导不同模态内的底层数据结构和模态间的高层语义间的相关性建模,利用丰富的特征和语义标签信息缩小不同模态间的异构鸿沟,找到具有相似性度量的最优哈希码,然后使用线性自编码器学习哈希函数,使得在结构和维度上存在较大差异的不同模态的异构数据之间可以直接执行跨模态检索任务。（2）针对模态内的数据结构和模态间的结构匹配关联性不强和存储开销大的问题,提出基于矩阵分解和自编码学习的跨模态哈希检索方法,主要分为矩阵分解和自编码学习两个部分。第一部分,由于同一件事物会由表现形式完全不同的模态进行描述,即模态间的异构鸿沟,为了更加深入地挖掘和建立不同模态之间的语义关联,本算法利用矩阵分解学习各模态间潜在语义的一致性表示,构建其潜在因子模型。第二部分,结合矩阵分解,通过线性自编码学习哈希函数,以潜在语义表示矩阵作为约束,缩小模态间的异构鸿沟,充分挖掘不同模态间丰富的潜在语义关联信息。将本文提出的两种算法模型分别在WIKI、MIRFLICKR、NUS-WIDE三个基准数据集上实现交叉检索,实验结果充分证明,本文设计的算法模型与其它对比算法模型相比具有一定的优势。