论文部分内容阅读
近年来互联网媒体不断的高速发展,社会快速步入了大数据信息时代,海量的多模态数据也随之应运而生。人们对这些海量多模态数据的检索需求也日益迫切,而跨模态哈希检索不仅可以实现数据跨模态间的检索,还具有检索高效性、低存储性等特点,因此受到越来越多研究人员的追捧。但目前大多数算法的关注点都聚焦在模态数据间的关联性以及语义鸿沟上,没有过多考虑不同模态数据间信息量的差异。以图像和文本模态数据为例,对计算机而言,图像数据所包含的信息量相比文本数据要更为丰富。本文也将针对这种信息不对称问题,对跨模态哈希检索进行研究。针对图像和文本数据间信息不对称问题,本文在深度语义特征及深度哈希的跨模态检索网络框架上,根据图像和文本数据包含信息量的丰富度,为图像和文本参照学习对象分配不同比例的关联损失,使跨模态哈希网络进行不对称的参照学习。具体而言,为最大化利用图像数据的丰富信息,本文提高了以图像为参照学习对象的关联损失比例,从而限定图像为跨模态哈希网络的主要参照学习对象,而文本数据由于信息量较少为次要参照学习对象。在上述算法的基础上,本文又提出了模态内语义相似的哈希码初始化方法,代替参照哈希码随机初始化方法。具体为在不对称参照学习之前,分别在各自单模态内进行参照学习,最终生成单模态内语义相似的图像及文本参照哈希码,用于替换随机初始化的图像及文本参照哈希码,以便更好地指导跨模态哈希网络进行不对称参照学习。最后本文通过在MIRFLICKR-25K,NUS-WIDE通用跨模态数据集上进行实验对比分析,验证了本文提出的算法以及参照哈希码初始化方法的有效性。