随着互联网技术的极速发展,不同模态的多媒体数据呈指数增长,人们已经无法满足于原始的例如图片检索的单模态数据检索方式,跨模态的多媒体检索成为信息检索的一个重要研究领域。跨模态多媒体检索技术,就是对于具有相似的语义内容的不同模态数据,实现它们之间的成功匹配。本文主要研究跨模态多媒体检索领域中图像与文本互相检索的问题,任务包含两部分:已知查询图像,检索相关文本;已知查询文本,检索相关图像。本文基于深度网络模型,考量文本不同结构词组对图像语义表述偏重性的差异和社交媒体数据之间存在着复杂交互性现象,提出从两个方面的改进旨在提高跨模态检索的性能,主要工作包括:(1)提出基于句子依存关系注意力增强的跨模态检索方法,由于句子的不同语义词组对于表达图像语义的准确性不同,通过对句子生成句子依存关系树,在原有双分支网络模型的跨模态检索模型中,添加基于依存关系词组的注意力机制,以增强重要词组组合在文本表示学习过程中的影响;(2)提出融合社交信息的跨模态检索方法,在社交网站中,由于用户之间频繁的分享、交流,多媒体数据之间存在着复杂的社会交互,通过建立图像数据之间的社交信息网络,提取图像的社交信息特征向量,并在原有的双分支网络模型基础上,融合社交信息网络,构建基于三分支网络结构的跨模态检索方法。实验结果表明,与其他对比算法相比,所提方法的检索性能均有较好的提高,验证了本文算法的有效性。