随着移动互联网技术的快速发展以及智能通讯设备的大范围普及,人们可以随时随地收集和传播自己感兴趣的数据,全球数据规模呈现爆炸式增长。在数据迅猛增长的同时,数据的类型也呈现出多样化的趋势,图像、文本、视频、语音等多种模态的数据正以低廉的成本快速地产生,并迅速在网络上传播。大数据之所以能够在互联网平台上进行高效的信息传递,主要原因之一在于其中包含有多种不同模态的数据类型,这些多模态数据的相互对应,相互补充,相互转换能够加速数据间信息的传输。为了帮助用户从日益增长的多模态数据中快捷精准地查询到有价值的数据信息,研究跨模态数据匹配和搜索具有十分重要的意义。图像和文本是多模态数据中的两类代表性数据模态形式。克服这两类不同模态数据间显著的模态异质性,并提取核心的语义特征进行跨模态的准确匹配,是图像-文本匹配领域当前研究的热点问题之一,而注意力机制在解决该问题上可以发挥重要作用。一方面,传统的图像特征表达学习容易捕获到许多与关联分析无关的冗余信息,需要使用上下文注意机制来学习具有判别性的视觉特征。另一方面,粗粒度匹配存在局部细节语义缺失,需要在粗粒度对齐的背景下使用局部跨模态注意机制额外建模细粒度对应关系。具体的研究内容如下:（1）针对图像-文本关联分析所需要的核心语义特征提取的困难,本文提出一种基于循环典型相关分析（Recurrent Canonical Correlation Analysis,RCCA）的图像-文本匹配方法,其中包含一个基于上下文注意的长短时记忆循环神经网络（Long Short-Term Memory Recurrent Neural Network,LSTM-RNN）用于动态图像表示学习,该网络使用上下文注意机制选择性地关注图像中的显著性内容,之后融合LSTM-RNN前几个时间步上关注的内容作为全局图像特征表达,从而更好的挖掘出用于关联分析的核心语义信息,同时滤除图像中一些不相关的冗余内容。此外,我们使用一个常规的LSTM-RNN对文本进行编码,同样以序列化的方式融合所有单词的语义信息为文本序列的全局特征表达。最后通过典型相关分析（Canonical Correlation Analysis,CCA）以最大线性相关性学习来关联图像和文本两种模态数据的特征表达,从而实现更加准确的跨模态匹配。大量的实验分析表明,所提出的RCCA方法在图像-文本匹配任务上相比于先前典型相关分析类方法获得了更好的性能。（2）针对细粒度跨模态图像-文本匹配的困难,本文开展了基于视觉语义推理的细粒度跨模态图像-文本匹配的研究工作。图像-文本跨模态匹配领域现有工作主要通过学习图像和文本两种模态的全局特征表示,然后将它们嵌入到一个共同的多模态语义空间进行跨模态相似性度量学习,但是这样粗粒度匹配的解决方案可能会导致局部细节语义的缺失,因此细粒度图像-文本匹配仍是有待解决的挑战性问题。为了解决此问题,本文提出一种改进的视觉语义推理模型（Improving Visual Semantic Reasoning Model,VSR++）,该模型基于图像-文本粗粒度匹配的背景下使用局部跨模态注意机制额外建模了区域-单词的细粒度对应关系。为了更好的利用不同粒度匹配之间互补的优势,我们还引入了一个简单且有效的联合学习策略以平衡两个不同粒度匹配之间的相对重要性。大量的实验分析表明,所提出的VSR++方法在两个基准数据集上达到了当前图像-文本匹配任务的领先性能。