论文部分内容阅读
跨模态检索的核心任务是寻找各异模态数据之间的关联,在此基础上哈希学习作为一种快速高效同时低存储消耗的热门方法,已越来越多地用于跨模态检索领域。然而大多数跨模态哈希方法通过松弛哈希编码上的二进制约束进行求解,导致各模态数据表示不够精确。另一方面,由于计算成本问题,部分算法采用随机选取部分训练集来学习哈希函数,导致结果存在随机性同时缺失部分重要数据。针对以上问题,本文以跨模态哈希检索方法为基础,分别提出了基于密度聚类层次建模的跨模态快速哈希检索、基于密度峰值聚类层次建模的跨模态变长哈希检索以及基于代数多重网格层次建模的跨模态变长哈希检索算法,并分别从理论和实验方面验证了算法的有效性。具体的研究工作分别如下:1.针对传统的跨模态无监督哈希算法存在训练成本高,且没有充分利用原始数据空间结构,从而无法更好地表示各模态之间的相似性等问题,本文提出了基于密度聚类层次建模的跨模态快速哈希检索(Cross-modal Hashing Based on Density Clustering,DCCH)算法。该算法结合基于密度的聚类方法,通过分别选择代表图像和文本数据的方式选出同时满足两种模态的核心图文对,然后投影到公共的哈希编码空间,最后交替迭代解得哈希编码及各模态的哈希函数。实验结果证明该算法能够有效提升跨模态的检索精度,同时大大缩减了训练时间。2.针对传统的跨模态监督哈希算法没有关注到模态内部的语义相似性,且没有根据各模态的特征选取最佳长度的哈希编码等问题,本文改进了基于密度聚类层次建模的跨模态快速哈希检索算法,提出了基于密度峰值聚类层次建模的跨模态变长哈希检索(Cross-modal Hashing Based on Density Peak Clustering,DPCCH)算法。该算法通过整体的密度分布选择代表图文对,然后分别投影到不同长度的哈希编码空间从而更好地表示不同模态的数据,最后交替迭代解得各模态哈希编码及哈希函数。实验结果证明该算法进一步提升了跨模态数据的检索性能。3.针对传统的跨模态监督哈希算法并未考虑到数据在流形结构上的相似性,从而造成了训练代价过高以及检索精度较低等问题,本文提出了基于代数多重网格层次建模的跨模态变长哈希检索(Cross-modal Variable-length Hashing based on Hierarchy,CVHH)算法。该算法利用了流形学习的局部空间结构相似性以及代数多重网格算法的分层理论,通过对图像文本对建立层次结构,仅将顶层代表图文对参与到后续跨模态变长哈希模型训练并迭代学习相应的哈希函数和哈希编码。实验结果证明该算法在进一步提升了跨模态检索精度的同时有效降低了训练时间。