基于哈希方法的单模态和跨模态检索技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:Spring_880916
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在如今数字信息时代,文字、图像、视频、音频等多媒体数据充斥整个互联网。如何有效管理、分析这些数据具有一定挑战性,这是因为多媒体数据是异质的,即它们的属性、特点皆异。这促进单类型数据(单模)和多类型数据(跨模态和多模态)分析处理技术的出现和快速发展。其中,检索技术是一类典型数据分析处理技术。近期基于哈希方法的单模态或跨模态检索技术成为该图像-文本领域的主流研究内容。单模态检索中查询数据与数据库中的数据属于相同的模态,而跨模态检索是指从包含除查询数据模态之外还有其他模态的数据库中检索出相关信息。哈希方法能够高维度数据映射到低维度的汉明空间中,具有存储消耗小、计算高效等优点。为适应当今社会对大规模数据的检索需求,基于哈希方法的检索技术受到广泛关注。尽管现有检索技术蓬勃发展,但它们仍存在一定局限性。在单模态哈希检索中,保证鲁棒性仍然存在两类的困难:1)鲁棒性度量,如M估计子,假设噪音服从特定分布,无法直接应用于离散哈希码;2)直接去除原始数据噪音很容易损害数据邻域结构。此外,跨模态哈希检索仍然面临“语义鸿沟”问题,特别是在有监督情况下,模态间语义表达和标签语义结构并不能保证是一致的。为了解决上述两类问题,本文主要工作为:1)为增强哈希码对数据噪音的鲁棒性,本文提出了一种单模态哈希检索技术,即对偶图正则鲁棒哈希方法(dual–graph regularized robust hashing,DGRH)。不同于现有鲁棒哈希方法,该方法直接使用M-估计子去除数据集中的异常值来保证哈希码的鲁棒性。具体来说,DGRH期望通过l1范数从含有噪音的数据中恢复原始数据的低秩表达,同时利用对偶图正则来保留样本之间的近邻关系,最终利用恢复的干净数据来学习哈希函数。此外,本文通过理论分析证明了哈希码的鲁棒性,实验结果也证明DGRH在三个常用的基准数据集上可以取得较好的效果。2)为了缩小跨模态检索方法中的“语义鸿沟”,本文提出了一种跨模态哈希检索技术,即基于语义一致性的跨模态哈希方法(semantic-consistent cross-modal hashing,SCCH)。该方法利用标签信息的监督性,将显式的语义标签嵌入到公共的潜在空间中,以此来保证学到的潜在语义表达和标签具有相同的语义一致性。为了保持样本一致性和类语义一致性,SCCH将样本的每个模态数据都映射到相同的潜在公共子空间中,对每个模态学习一个单独的哈希函数,并通过旋转变换使类潜在语义表达和样本哈希码潜在表示在语义表达上是一致的。为了减小了由于将实数值近似表达二值码而产生的量化误差,SCCH通过一个旋转矩阵将公共的潜在语义表示映射到哈希空间,进而直接学习得到哈希码。此外,本文使用了一种高效的迭代优化算法对SCCH模型进行了求解。实验表明,相比较其他具有代表性的方法,SCCH在两个常用的多模态数据集上具有优越性。
其他文献
本文以某巡航导弹的毁伤为研究内容,主要使用仿真计算等方法对破片战斗部毁伤巡航导弹进行了研究,以实现对破片战斗部打击巡航导弹目标的毁伤效能评估。首先,对巡航导弹目标进行了系统地调研,分析了目标的结构、材料、战场作用以及毁伤模式等,建立了目标的毁伤树,拟定了目标的毁伤判定依据,得到了目标各个舱段的等效靶模型;其次,对破片侵彻巡航导弹各个舱段进行了数值模拟研究,对巡航导弹不同舱段遭到毁伤的机理和现象进行
我国国内疫情的反复致使我们与新冠肺炎疫情进入了拉锯战中,可以说我们进入了后疫情时代,疫情的出现导致商业实体经济受挫严重,本文以后疫情时代下郑州商业实体经济的发展为题展开分析:通过对疫情前后郑州商业实体经济情况进行阐述,分析郑州商业实体经济发展的困境原因:第一,电子商务高速发展对于商业实体经济的冲击;第二,郑州商业实体经济配套设施不完善、专业人才不多;第三,郑州商业实体经济品牌建设力度不足、推广效果
随着深度学习的成功应用,计算机视觉领域也有了飞跃性发展。超分辨率技术(Super Resolution,SR)是计算机视觉领域下的一个分支,目标是能够从一张或多张低分辨率图像重构出高分辨率图像,使图像纹理更加清晰、视觉效果更加自然并符合人的视觉感受。目前超分辨率技术已被成功地应用于交通监测、卫星遥感、图像识别与目标跟踪等诸多领域中。本文在基于生成对抗网络的模型上进行改进,设计了一个能将图像分类训练
军用车辆作为战斗人员与武器装备的运输工具,在现代战场中发挥着重要的作用。由于面临的特殊战场环境,机动性能是保证军用车辆发挥运输作用、完成作战目的及提高生存能力的重要前提。随着战场的转移与战争形式的变化,军用车辆在松软路面的行驶特性研究显得尤为重要。在机动过程中,军用车辆的战场机动性主要由车辆与地面的相互作用决定,因此目前的研究重点是轮-壤相互作用。本文结合军用车辆的研究背景,针对现有理论未考虑车辆
海上搜救应急处置能力是海上生命与财产安全的重要保障,同时也是建设“海洋”强国的重要工作内容,开展海上搜救应急处置资源方案生成方法的研究有助于提高我们国家的海上搜救应急处置能力,同时对提高中国的海洋“软实力”也具有积极作用。目前,我国海上搜救应急处置过程中存在搜救效率较低,搜救决策科学性不足以及搜救资源不能合理利用等问题,针对上述问题,本文对海上搜救资源方案生成问题进行了研究,设计了基于“初始优化+
新型冠状病毒肺炎疫情在全球爆发,面对海量的出行轨迹、资源分配和疫情防控等数据,如何从中挖掘出有用的信息对疫情进行联防联控显得十分重要。聚类作为数据处理的基本工具在我国精准施策过程发挥了十分积极的作用。由于非负矩阵的可解释性,非负矩阵分解已成为基于局部表示整体的重要表达形式。它已成为用于聚类任务的数据分析工具。非负矩阵分解(NMF)是用于聚类任务的经典数据分析工具并且通常NMF考虑平方损失来衡量重构
生物医学是关系到人类医疗诊断水平和生命健康的重要领域。生物医学文献作为相关领域知识的重要信息载体,记录着生物医学技术的研究和发展。近年来,生物医学领域的文献数量呈指数型快速增长。对于渴望加入生物医学细分领域的新学者,他们需要进行大量的资料收集、阅读、统计和分析以寻找该领域优秀的学者和出色的团体。面对海量的生物医学文献,现有的在线数字文献图书馆功能虽然支持根据作者相关信息(姓名、机构、邮箱地址)和文
车辆检测与运动趋势分析是无人驾驶汽车应用研究中的关键环节,是进行道路环境感知与运动规划决策的基础和保证。然而检测过程中经常遇到的车辆遮挡等问题,一定程度上影响车辆检测的准确率和碰撞威胁态势分析的可靠性,从而威胁到无人车的安全行驶。鉴于此,本文重点围绕近处遮挡情况下的车辆检测问题,对基于车辆部件的车辆检测方法和车辆运动参数估计方法进行了深入研究,并针对性地提出解决问题的方法。论文完成的主要工作为:1
在线教育的出现创造了一个新的教学模式,同时也为学习者提供了更多的选择,通过在线教育,学习者可以不再受时间地点的限制,只要有网络,随时随地可以进行学习,在线教育平台中涵盖了多种教学科目,几乎所有的科目都可以在其中找到教学视频。信息化时代的到来使得社会对编程人员的需求急剧增加,编程开始成为了一个热门学习科目,如今的在线编程教育主要包括三种模式,分别是文本、视频和在线编程,这三种模式都能够为学习者提供相
随着战争信息化、自动化水平的逐渐提升,无人机集群作为新作战形式必定会对未来战场产生深远的影响。为了满足集群作战条件下固定翼无人机快速连续地起飞的要求,需要对无人机快速、安全弹射进行研究。本文采用电磁弹射作为无人机的起飞方式,综合考虑机动性、隐蔽性、全程可控性、弹射周期以及发射成本等因素,设计了一种连发型无人机电磁弹射系统方案,并开展了相关技术研究,主要内容有:分析了连发型电磁弹射系统的性能指标及特