论文部分内容阅读
随着新时代互联网的飞速发展,图片成了人们日常用于交流获取信息的一个重要载体,图像检索相关的课题也迅速成为科研界和产业界的研究热点。图像可以替代文字语言更精准地表达语义,另外现代化电子设备的出现带来了手绘草图的便捷性。因此,基于草图的图像检索在这几年来受到了广泛的关注。通过手绘草图的查询,草图检索可以解决用户手边没有参考图片仍需进行图像语义检索的场景,充分表达用户的个性化查询意愿。由于草图本身稀疏线条和模糊外观的特点、以及跨域检索的限制,基于草图的图像检索比传统的基于内容的检索更加具有挑战性。目前,不少研究者提出了草图检索的算法。然而现有的方法大多利用高维特征,需要较高的计算资源。另外,现有算法通常采用边缘检测和参数共享的网络设计方法来进行草图检索的跨域处理,会导致在模型学习中有效信息的损失。针对现有方法的局限性,我们提出一套有效的基于深度哈希的草图检索算法,并充分挖掘匹配查询语义,能够达到更高的检索精度和速度,减少了计算资源消耗,有利于大规模的图像检索。论文的主要研究成果包括:(1)提出一个基于原型哈希码利用深度哈希网络架构进行单样本学习的草图检索算法。通过控制集合里彼此距离最大化,我们构建具有高度监督语义提炼信息的原型哈希码,不同类别对应唯一的原型码用作监督学习。这样,就可以把草图域和自然图像域中的样本都映射到同一特征空间中,实现高效的跨域检索设计。(2)提出一套深度异构网络的训练模型,能更好地解决跨域检索问题。训练模型包含两个深度哈希网络,分别对应于草图和自然图像两个域。相比已有的共享网络和半混合的网络设计来说,这种异构逻辑的网络结构更适应于跨域问题,能够同时捕捉到同域同类内部的语义关系和跨域之间的相似度关系,提高检索精度。同时,网络训练采取单样本学习模式,有效提高训练效率。(3)提出基于语义扩展的深度哈希草图检索算法。针对单张图像中包含多个物体及关联信息的检索方式,设计了一套适应语义扩展的原型哈希码以及相应的网络结构。在我们自建的小型语义扩展数据集上,该语义扩展模型得到了良好验证。(4)将本文算法在TU-Berlin扩展集和Sketchy扩展集这两种现有最大规模的数据集上进行了广泛的实验,并与目前最优的?几种算法进行了公平对比验证。我们的算法于检索准确率、检索时间和内存消耗方面在所有算法中都达到了最佳。mAP的表现上相比目前最好的DSH算法更有在TU-Berlin扩展集上4%的提升及Sketchy扩展集上3%的提升。