基于域结构保持的无监督跨模态哈希算法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:kingbottle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,以图像、视频等多种模态出现的数据呈爆炸式增长,如何有效地进行跨模态数据检索逐渐成为研究热点。在众多跨模态检索方法中,基于哈希编码的无监督跨模态检索方法因其高效的检索速度、低廉的存储代价和无需费时费力的手工标注而备受关注。现有的研究大都通过在汉明空间内保持哈希码的域结构信息以学习特定模态的哈希函数,往往忽略了对多模态实例邻域关系的有效探索。此外,大都未考虑构建的语义关联信息中存在的噪声,降低了哈希码的判别性。为此,本文采用域结构保持策略,提出了两种基于联合模态语义相似度重构的无监督跨模态哈希方法,旨在提升哈希码的判别性。(1)针对大多数工作未能有效探索多模态实例邻域关系的问题,提出一种基于对比学习的邻域关系保持跨模态哈希。该方法首先通过融合各模态内和模态间相似度信息,构建一个表征多模态实例语义关联的联合模态语义相似度矩阵。然后,将实例关系表达为图结点间的关系,通过充分挖掘结点间的邻域关系并融合至原有相似度矩阵,以提升其表达实例关联的能力,最后将其作为各模态哈希码相似度重构的目标。在哈希码学习阶段,受对比学习的启发设计了一种基于相似度阈值的负例生成方式,引入了一个跨模态哈希码相似度对比约束,以进一步提升哈希码的判别性(2)针对构建的语义关联信息中可能存在的的噪声问题,提出一种基于联合模态语义相似度修正的跨模态哈希。通过引入数据特征空间中的流形结构信息修正原有相似度信息中的噪声,并增大具有相同语义样本间的相似度,生成的联合模态语义相似度矩阵更能准确表示多模态实例间的语义关联。本文在两种具有代表性的数据集上进行了充分的实验,并通过多种检索性能指标对提出的算法进行评估。实验结果表明,本文提出的基于对比学习的邻域关系保持跨模态哈希方法能够有效提升哈希码的判别性。此外,基于联合模态语义相似度修正的跨模态哈希方法在实验中表现出显著的性能优势,在NUS-WIDE数据集上的的图像检索文本任务中,各哈希码长度下的m AP@50指标较对比算法的最优结果有4.4%-6.0%的提升,证明了引入流形结构信息修正原有相似度噪声策略的重要性。
其他文献
随着垃圾分类的强制执行,垃圾分类回收系统也日益完善,垃圾被运往填埋场或者焚烧厂的途中会在垃圾中转站被压缩而产生压滤液,这部分垃圾压滤液污染物浓度高,不能随意排放。目前传统的处理方法还存在弊端,如压滤液中高浓度的氨氮容易导致生物处理中的微生物失活;物化法只能作为垃圾渗滤液的预处理和深度处理方法;联合处理工艺复杂,成本高。压滤液的水质复杂,处理难度较大,在考虑处理工艺的有效性和稳定性的同时,还要兼顾处
学位
钢管束混凝土组合剪力墙是由方钢管和U型钢管焊接,并在钢管内浇筑混凝土而成的一种钢-混凝土组合剪力墙,作为结构的主要抗侧力构件,它不仅具有较高的承载能力和良好的抗震性能,而且能够实现模数化设计、工厂化生产和装配化施工。本文在试验的基础上,对钢管束混凝土组合剪力墙的力学性能及其影响因素进行了对比分析,提出了低周反复荷载作用的恢复力模型及模型参数,根据恢复力模型绘制了滞回曲线,并与试验曲线进行了校核分析
学位
钼(Mo)是一种难熔稀有金属,也是动植物必不可少的微量元素之一,其广泛应用于冶金、制造业、农业、航天、医疗等领域。随着钼矿的大量开采,开采过程产生的废水、废渣以及尾矿处理不当,导致钼矿周围的地下水、地表水以及土壤等污染极为严重。钼在水体中主要是以钼酸盐(Mo O42-)的形式存在,而目前去除水中钼酸盐的手段主要有:化学沉淀法、吸附法、离子交换法、人工湿地法以及混凝沉淀法等。电絮凝(Electroc
学位
随着5G的快速发展,移动边缘计算已经成为新的计算范式,它将传统云的计算资源从中心云迁移到网络边缘上,移动设备可以将计算任务卸载到边缘服务器上以满足低延迟需求的应用程序。但是这种新的范式在上述计算卸载过程中引起了许多挑战,比如如何进行动态放置服务来维护移动用户感应延迟,以及如何确定计算卸载任务的分割数量来优化移动用户体验质量等。基于上述挑战,本文提出了一个多用户多边缘服务器的计算卸载模型,该模型同时
学位
随着生物医学领域的不断发展,大量的学术科研成果以论文和文献的方式进行呈现和传播。因此,巨量的论文和文献形成了一片知识的海洋,亟待学者们进行发掘研究。生物医学实体关系抽取是利用自然语言处理相关技术,从生物医学文献中自动地抽取出生物医学命名实体以及实体之间存在的关系。这种抽取技术能够帮助领域内的研究学者高效的发现和学习相关知识,从而进一步推动生物医学领域的发展。本文的研究主题是“生物医学实体关系抽取”
学位
随着我国城市化的推进和产业结构的转型,越来越多的工业用地失去了原有的作用和功能,衰落工业厂区的更新改造逐渐成为城市建设的焦点。然而大量没有列入保护体系的旧工业厂区,在城市改造中不假思索地被“夷为平地”,本文希冀从“活力论”视角出发,改变以往“推土机”式更新模式,将旧工业厂区契入城市居民的日常生活,充分挖掘旧工业厂区的独特属性与活力的内涵,提出旧工业厂区的活力提升维度与构成要素,探索旧工业厂区的更新
学位
共识算法是维持区块链系统安全稳定运行的关键技术。作为应用最广泛的联盟链有交易量大、响应快速、参与方多、不可信和存在拜占庭故障等特点。高效率的RAFT无法在不可信的环境下容忍拜占庭故障,而可容错的PBFT无法满足联盟链对效率的需求。针对联盟链中大量数据同时共识的过程中既要高效又要可容错这两点难以兼顾的问题,本文提出一种高效且可拜占庭容错的共识转换算法。针对RAFT无法检测故障节点、判断故障类型导致的
学位
数据缺失在数据的采集、传输以及存储过程中都可能产生,因此它是广泛存在且无法避免的。缺失值的存在给数据分析和挖掘等任务造成了困难,因为目前大多数数据分析和挖掘方法都无法直接处理不完整数据。时序数据是一种重要的数据形式,由于其内同时存在属性间和时间上的相关性,其建模也更为复杂。因此,时序数据的缺失值填补研究是一项重要的工作。现有填补方法常利用历史信息对缺失值估计,忽略了当前信息,本文则加强对当前信息的
学位
显著性目标检测是计算机视觉的基础任务之一,旨在检测图像中最引人注目的区域,通常作为一种前处理任务在其他计算机视觉领域广泛应用,比如语音分割、目标追踪、行人重识别、图像描述等任务。在显著性检测中,多尺度特征融合起着至关重要的作用。大多数现有方法通过利用各种多尺度特征融合策略虽然取得了不错的性能,但是设计一个高效而优雅的网络框架需要大量的专家知识和经验,在这个过程中严重依赖费力的反复试验。本文从如何能
学位
丙烯是重要的化工原料,其需求量正逐年攀升。丙烷脱氢工艺被认为是最具前景的丙烯生产方式之一,其通常分作两类:直接脱氢和氧化脱氢。前者已实现工业化,其中铬基催化剂因在成本和活性方面的优势是常用工业催化剂之一。然而催化剂中铬物种易发生团聚继而导致催化剂永久失活的问题仍有待解决。丙烷氧化脱氢仍处于研究阶段,并集中于催化剂筛选和改进,而针对反应器选择与操作参数优化等研究报道甚少。因此,本文针对丙烷直接脱氢铬
学位