基于三元组深度哈希的跨模态检索方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:tao009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在过去的十年里,随着互联网技术和社交网络的飞速发展,每天都会产生亿量级的多媒体数据。互联网上的多媒体数据以不同的形式存在来自于异质数据源,比如一个网页可能包含了文本,图片,视频等多个模态的数据,虽然这些数据来自不同的模态,但是他们之间有很强的语义关联。跨模态检索就是输入一个查询数据,返回与查询数据相似的结果且查询数据与返回的结果来自于不同模态。跨模态检索主要面临两个技术难题,一个是如何提取不同模态的样本特征以包含更丰富的语义特征,二是如何跨越不同模态之间的语义鸿沟。为了解决上述问题,许多跨模态检索方法被提出,其中哈希方法凭借其高效的检索速度和低耗的内存空间受到工业界和学术界的广泛关注。跨模态哈希方法将高维原始数据映射成紧凑的哈希码,通过异或操作在汉明空间中计算哈希码之间的汉明距离来度量跨模态数据之间的相似性。  针对跨模态检索中的两个问题,我们提出两个跨模态哈希检索方法,具体内容如下:  (1)提出基于三元组深度哈希的跨模态检索方法。为了提取有效的跨模态样本特征,我们将特征学习过程和哈希码学习过程整合在同一个端对端的深度神经网络中。同时,我们提出的方法使用三元组类标作为监督信息,三元组类标可以更加灵活地捕捉到多种高阶的相似性关系并生成不同的约束,而且使用三元组类标抽取数据可以扩大训练数据个数从而减轻过拟合问题,该方法有效地提高了跨模态检索的检索精度。  (2)提出基于图正则化三元组深度哈希的跨模态检索方法。基于上述方法,我们利用三元组类标建立不同的三元组损失函数,模态间三元组损失函数,模态内三元组损失函数和图正则化损失函数。模态间三元组损失函数用于构建不同模态之间的语义关联,模态内三元组损失函数用于增强哈希码的判别性,图正则化损失函数用于建立原始空间和汉明空间之间的相似性关联,该方法改善了跨模态数据之间的语义鸿沟问题并有效地提高了检索精度。
其他文献
宽带数字侦察系统在雷达对抗中担负着重要的角色,具有大瞬时带宽和多信号处理的能力,为提高其瞬时带宽需要采用高速数据采集技术,而AD芯片固有的模拟带宽限制了高速数据采集
本文研究了以单片机AT89S8252芯片为核心,基于GSM移动通信系统的便携式数字气象检测仪,系统集成了温度、湿度、气压、风向、风速、经度、纬度、海拔高度、标准时间等气象参数的
H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)的联合视频组(JVT:joint video team)制定和发布的目前国际上最新的数字视频编码标准,是目前视频图
水稻(Oryza sativa L.)是中国最重要的粮食作物之一,我国约有65%的人口以水稻为主食,然而耕地面积减少及农村劳动力减少都迫使我们必须进一步提高单位面积土地上的粮食产量。水
按内容寻址存储器(CAM)是一种特殊的存储器,它除了可以像普通的存储器(如 SRAM、DRAM)那样存取数据,更重要的是它能进行高速的数据搜索,其本质上就是一个基于硬件的高速搜索引擎
营养元素在植物-土壤-大气之间的循环和转化是重要的生态系统过程之一,是维持生态系统结构、功能和服务的物质基础。全球变化引起的降水格局的改变很可能会影响土壤中营养元素
天线罩是一种保护天线免受恶劣外部环境影响,保证天线正常工作的设备。在如航海、航空等多种复杂环境中,天线罩是不可或缺的。除了保护天线外,根据使用场合不同天线罩还有诸
本文通过对荣华二采区10
期刊
我是1988年开始接触摄影的。早些年,我拍的题材很杂,风光、纪实、花卉、鸟类等等,逮着啥拍啥。这种泛泛而拍的做法看似快活,却几无收获。2009年初开始考虑选准一个题材沉下心
随着社会和科学技术的发展,以及家居环境的数字化,家用设施越来越信息化、网络化,并提出了信息交互的要求,同时对家用设施进行组网和统一管理提上日程。当代主流解决方案是通