基于潜在语义学习的跨模态哈希检索算法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:lz1111111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
跨模态检索是多媒体检索领域中针对两个模态的特殊检索方式,它通过构建不同模态之间的语义关联实现准确的交叉匹配。近年来,跨模态哈希检索以其检索速度快和存储成本低的优点成为跨模态检索中主流的研究方向。现有的跨模态哈希检索方法旨在将异构特征转换为紧凑的二进制码,并使用监督信息来提高性能,但哈希码生成过程中大多丢弃了离散约束而造成累积的量化误差,并且通用的监督使用形式忽略了类别间的语义关联。本文针对以上问题,探究了两种基于潜在语义学习的跨模态哈希检索算法,有效地缩小异构模态间的语义差距。(1)针对不同类别间语义关联被忽略的问题,提出基于语义引导的跨模态哈希检索算法。算法首先通过词嵌入模型生成类名的语义表示,并利用该语义表示构建类级语义空间。之后,根据编码器-解码器范式,设计一种基于类语义的双模态自动编码模型,学习从原始特征空间到公共潜在空间的投影,保留了原始特征中的所有信息,并使算法扩展到不可见域。(2)针对哈希码生成过程中量化误差大的问题,提出基于最小语义损失的自学习跨模态哈希检索算法。算法采用共矩阵分解技术学习不同模态的公共语义表示,并通过具有正交约束的二值量化过程将公共表示映射到低维汉明空间,同时保证语义损失最小化。此外,将哈希函数的学习视为二分类问题,并借助支持向量机的优势进一步减少语义量化误差。本文在公开数据集上设计大量实验,并通过多种性能评价指标对提出的两个算法进行评估。实验结果表明,基于语义引导的跨模态哈希检索算法能够在检索任务中实现优越的性能,同时也证明本算法在不可见域检索问题中的有效性和适用性。此外,基于最小语义损失的跨模态哈希检索算法在实验中表现出显著的性能优势,证明最小化语义编码损失的重要性。综合以上两个实验结果,本文提出的两个算法均表现出优异的性能,并在跨模态检索任务中实现快速、准确的检索结果。
其他文献
研究目的:在T2DM模型形成前施加不同方式的等量运动预干预即在模型建立过程中施加运动干预,探究不同方式运动对2型糖尿病大鼠造模后骨骼肌和脂肪组织瘦素分泌和骨骼肌leptin-
数据缺失是许多实验研究和社会调查领域中经常发生且几乎无法避免的问题。缺失问题的产生不仅会增大数据分析过程的难度,还会导致分析结果的准确性和可靠性下降。近年来,如何合理有效地填补缺失值已成为不完整数据分析中的一大研究热点。基于属性间的多种回归关系,本文提出使用Takagi-Sugeno(TS)模糊模型对不完整数据建模,并将其用于缺失值填补。在此基础上,为了进一步提升填补精度,提出一种交替学习策略用于
气溶胶对气候环境、空气质量、能见度及人类健康具有重要的影响。气溶胶物理化学过程中重要理化参数的测量对理解大气雾霾的形成具有重要意义。本论文研究了大气气溶胶中丙二
驻波管中,由入射波声场与经负载端反射后反射波声场叠加后的总声场,可获得管中任意位置处总声压和总速度,以及管中总声压最大值与最小值之比。实验中,可通过测量驻波比,计算出声负载吸声系数。任何负载的吸收系数均可由其声阻抗表示。当结构表面阻抗与空气阻抗匹配时,满足声完美吸收条件。由于管中存在空气粘滞效应,粒子速度在管壁附近存在速度梯度。考虑粘滞作用,管壁处速度可设为0 m/s,管中心区域粒子速度较大。具有
学习成绩作为检测学生学习情况的标准会受多种因素的影响,学习动机是其中较大的影响因素之一。当前对泰国学生汉语学习动机的研究相对较多,但对泰国中学生学习动机与学习成绩
石油井架钢结构作为钻井过程中的重要承载设备,使用相当广泛,作用也很重大。但在复杂的工程环境中,由于承受巨大外力,加之环境腐蚀,在拆装和使用过程中不可避免地会出现损伤,对人身和财产安全产生很大隐患,因此尽早判断出石油井架钢结构的安全状态是十分必要的。基于振动响应来识别损伤是一种常见的损伤识别方法,但在实际采集振动信号过程中,由于工程中强烈的背景噪声的影响,使得通过弱信号来识别损伤变得困难,因此本文提
新中国成立初期,计量单位制面临多元化,全国上下计量事业处于不断变革之中,直至90年代末才趋于稳定。本文对内蒙古自治区计量发展与计量管理机构演变历程进行全面的梳理和介
地震信号是非平稳随机过程,由于其在时域及频域上皆有较强的非平稳特性,非平稳地震动会导致结构遭受较大的损失。传统的地震信号分析方法不能同时得到信号特征分别在时域和频域上的分布情况,由于小波变换理论在分析非平稳随机过程时能同时得到信号特征在时域及频域上的分布情况,所以本文选择谐波小波来研究实际地震动时频功率谱。通过研究地震动时频功率谱,将以往对地震动的时域分析或者频域分析推广到时域-频域二维层面进行精
冷战结束后,原属苏东阵营经过领土变动形成的16个欧洲国家选择“回归欧洲”——加入欧洲一体化并进行转轨,这16个国家被统称为“中东欧国家”,其中1 1个国家已成功加入欧盟,
基于兰姆波的超声传感器,其原理是将超声波转换为电信号等其他形式的能量传输有效信息,由于其灵敏度强,检测效率高等优势在声学传感器中使用广泛。但是在传输过程中,器件的缺