论文部分内容阅读
多模态是大数据的重要特性,随着大数据时代的到来,像图像检索文本之类的跨模态数据之间的检索已成为潜在的需求。跨模态哈希(Cross-Modal Hashing)方法通过哈希函数将查询数据转变为汉明空间中的二进制编码,即哈希编码,形式上统一了各模态数据,从而将跨模态数据之间的检索转变为哈希编码之间的检索,降低了存储消耗同时加快了检索速度。另外,哈希编码之间通常保持了对应数据之间的相似性,包括模态内相似性和模态间相似性。相似性保持是本文研究的出发点,同时也是跨模态哈希方法的重要组成部分。然而当前大多数跨模态哈希方法仅依据底层特征对数据之间的相似性进行度量,忽略了语义的重要性,不利于缩小语义鸿沟,也不利于提高检索的准确率。人类是从语义层面对事物进行区分和判断的,因此数据之间的真实关系取决于语义。在底层特征具有噪声或者判别性不强时,语义相似性的使用有利于生成具有较好判别性的哈希编码,进而提高检索的准确率。本文从语义层面度量模态内相似性和模态间相似性,提出了两种跨模态哈希方法,分别为:语义一致性跨模态哈希与基于语义一致性和矩阵分解的跨模态哈希。通过在现存的两个主流的数据集上进行实验,验证了方法的有效性。本文的主要研究内容和创新点:(1)语义一致性跨模态哈希仅使用语义度量数据之间的相似性,降低了计算量和哈希编码到高层语义的语义鸿沟,确保哈希编码之间的相似性与原始数据之间的相似性具有语义上的一致性。哈希函数通过线性映射和二值化将数据转变为哈希编码。(2)基于语义一致性和矩阵分解的跨模态哈希同时利用语义和底层特征度量各模态内数据之间的相似性,并用图指示该相似性,缩小了底层特征到高层语义,以及哈希编码到高层语义之间的语义鸿沟。利用矩阵分解构建各模态数据共同的抽象空间,实现数据的抽象表达,并通过量化抽象表达产生相应的哈希编码,最终将哈希函数的学习转换成二元分类中超平面的学习。