基于深度哈希的草图检索算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lzbenz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着新时代互联网的飞速发展,图片成了人们日常用于交流获取信息的一个重要载体,图像检索相关的课题也迅速成为科研界和产业界的研究热点。图像可以替代文字语言更精准地表达语义,另外现代化电子设备的出现带来了手绘草图的便捷性。因此,基于草图的图像检索在这几年来受到了广泛的关注。通过手绘草图的查询,草图检索可以解决用户手边没有参考图片仍需进行图像语义检索的场景,充分表达用户的个性化查询意愿。由于草图本身稀疏线条和模糊外观的特点、以及跨域检索的限制,基于草图的图像检索比传统的基于内容的检索更加具有挑战性。目前,不少研究者提出了草图检索的算法。然而现有的方法大多利用高维特征,需要较高的计算资源。另外,现有算法通常采用边缘检测和参数共享的网络设计方法来进行草图检索的跨域处理,会导致在模型学习中有效信息的损失。针对现有方法的局限性,我们提出一套有效的基于深度哈希的草图检索算法,并充分挖掘匹配查询语义,能够达到更高的检索精度和速度,减少了计算资源消耗,有利于大规模的图像检索。论文的主要研究成果包括:(1)提出一个基于原型哈希码利用深度哈希网络架构进行单样本学习的草图检索算法。通过控制集合里彼此距离最大化,我们构建具有高度监督语义提炼信息的原型哈希码,不同类别对应唯一的原型码用作监督学习。这样,就可以把草图域和自然图像域中的样本都映射到同一特征空间中,实现高效的跨域检索设计。(2)提出一套深度异构网络的训练模型,能更好地解决跨域检索问题。训练模型包含两个深度哈希网络,分别对应于草图和自然图像两个域。相比已有的共享网络和半混合的网络设计来说,这种异构逻辑的网络结构更适应于跨域问题,能够同时捕捉到同域同类内部的语义关系和跨域之间的相似度关系,提高检索精度。同时,网络训练采取单样本学习模式,有效提高训练效率。(3)提出基于语义扩展的深度哈希草图检索算法。针对单张图像中包含多个物体及关联信息的检索方式,设计了一套适应语义扩展的原型哈希码以及相应的网络结构。在我们自建的小型语义扩展数据集上,该语义扩展模型得到了良好验证。(4)将本文算法在TU-Berlin扩展集和Sketchy扩展集这两种现有最大规模的数据集上进行了广泛的实验,并与目前最优的?几种算法进行了公平对比验证。我们的算法于检索准确率、检索时间和内存消耗方面在所有算法中都达到了最佳。mAP的表现上相比目前最好的DSH算法更有在TU-Berlin扩展集上4%的提升及Sketchy扩展集上3%的提升。
其他文献
遥操作系统巧妙的将人类的智慧与机器人操作的精确度和力量相结合,使得具有人机交互特征的遥操作系统在多个领域得到广泛的应用,包括空间探索、核废料处理、海底作业、远程医
老年性黄斑变性和视网膜色素变性是两种不可治愈的视网膜退行性疾病,这两种疾病的发病机理都是因视网膜光感受器细胞逐渐退化,最终导致患者失明。视觉假体的发展为失明患者重
MFI分子筛膜在膜反应器、化学传感器、热泵、催化反应器、防腐蚀涂层等领域有出色的特性,因此MFI分子筛膜的制备在各个领域引起的关注持续增长。由于MFI分子筛具有各向异性的
偏振成像探测技术将传统的成像技术所探测的三维目标信息量额外扩展至六维,能够提高杂乱背景下的探测效率,在大气遥感、目标识别等多个领域具有重要的应用价值。本文针对项目
多取代环戊基胺是许多具有生物性或药理功能的天然产物的骨架结构。经典的Nazarov环化反应通过戊二烯基阳离子发生4π电环化,是合成五元碳环最重要的方法之一。但以戊二烯亚
永磁同步电机(PMSM)具有高转矩惯性比、高效率和高功率密度,在民用、航天和军事等领域得到了广泛应用。要获得高性能的PMSM控制,转速闭环是必不可少的,然而转速传感器的安装
纤维素由于在自然界中含量丰富,并同时具有不可食用的特点,使得其在生物质催化转化的领域具有十分重要的地位。根据纤维素自身的结构特点,将其转化为小分子的葡萄糖后再进一
随着数字地震观测台网不断的建设与发展,观测台站密度逐渐加大,为研究唐山地区的地震分布特征提供了丰富、连续、可靠的原始资料。双差定位法是一种较为成熟的相对定位法,本文利用河北数字遥测台网记录的唐山及邻近地区(117.00°120.00°E,39.00°41.00°N),2009年1月至2018年12月正式观测报告中的震相到时资料,对唐山地区的中小地震进行了双差重定位。重定位后精度有了很大的提高,残差
近年来,学者们对神经网络做了大量的研究工作,并将其应用在模式识别、信号处理、光电子学等领域。复值信号广泛出现在图像处理、通信工程、语音识别等领域,为了有效处理复值信号,人们在传统实值神经网络的基础上提出了具有复值权值、阂值、输入输出信号的复值神经网络,复值神经网络的相关研究也逐渐成为一个研究热点。根据激活函数的不同,复值神经网络可分为分离复值神经网络和全复神经网络。分离复值神经网络利用一对实值有界
异种(牛)脱细胞真皮基质联合自体骨粉植入应用于开放式乳突根治术中,较单纯行开放式乳突根治术,前者术后能显著缩短干耳时间,术区能快速有效上皮化;同时能快速有效使植入的自