随着第五代通信技术以及智能设备的突破性发展,以图像、文本、视频为主要内容介质的多媒体数据呈现出海量式增长的趋势。在多媒体数据的发展趋势下,人们对人机交互的体验模式提出了更深层次、更多维度的业务需求,跨模态检索技术应运而生。传统的跨模态检索仅仅涉及图像、文本等单一视觉感知的模态内容,无法满足VR、远程医疗、自动驾驶等新一代应用需求。因此,为了将人机交互的沉浸式体验推至新的维度,本文拟将人类三大感知之一的触觉引入跨模态检索,实现视觉数据与触觉数据的自由检索,即跨模态材料表面检索。此外,随着多模态数据的爆炸式增长,跨模态检索将面临存储成本高、检索时间长等瓶颈问题,阻碍其进一步大规模应用。因此,本文将哈希学习与跨模态检索进行深层次融合,利用二维哈希码在存储成本、检索速度上的显著优势,解决这一关键瓶颈,提出了跨模态材料表面哈希检索。本文的具体研究内容如下:（1）实现高精度的跨模态材表面检索需要大规模、高质量数据集的支撑,然而现有的公开数据集基本以视觉模态数据为主,其主要内容为图像以及文本,难以满足跨模态材料表面检索对数据集的基本要求。因此,本文提出了基于生成对抗式网络的视觉与触觉数据扩充模型,利用生成对抗网络拟合原始数据集,生成包含复杂特征的高质量新数据。仿真实验表明,本章所提模型能够有效生成高质量的视觉与触觉扩充数据。（2）传统的跨模态检索模型大多直接将原始数据中包含的所有语义特征信息融入模型的训练过程中,忽视了其中包含的大量冗余信息,导致跨模态检索精度的不理想。为了解决这一问题,本文提出了一种基于自注意力感知网络的跨模态材料表面哈希检索模型。具体而言,本文利用自注意力机制提取原始数据中的跨模态相关部分,剔除冗余的无关部分,并利用相关部分为跨模态材料表面检索提供语义支持。仿真实验表明,本章所提模型能够有效实现跨模态材料表面检索。（3）在研究内容二的基础上,本文认识到跨模态相关信息与非相关信息对于构建跨模态材料表面检索均具备重要价值。因此,本文将跨模态相关信息与非相关信息升维为共享信息与私有信息,提出基于共享-私有信息联合增强的跨模态材料表面检索。具体而言,共享信息表示在多种模态数据中共存的语义特征信息,仅仅在表现形式上存在差别,而私有信息表示仅仅在单模态内部隐含的以噪声、背景为主的冗余信息,在多模态场景下不具备普遍性。基于共享信息与私有信息,本章利用两者之间的互补性与正交性构建更高精度的跨模态材料表面检索。仿真实验表明,本章所提模型能够进一步提高跨模态材料表面检索的准确度。