深度跨媒体哈希关键技术研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:weixiant241
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体数据的爆炸式增长,跨模态检索已成为多媒体计算和信息检索领域的研究热点。跨模态检索方法以某类模态的数据为查询对象,检索其他模态中的相关数据。它打破了传统的以图片搜索图片,文本搜索文本为主的单模态检索模式的局限性,开辟了一种全新的方式来有效地支持多模态数据检索。然而,大规模的跨模态检索在存储消耗和检索速度上都面临着巨大的挑战。跨模态哈希将高维多模态数据(如文本、音频、图像、视频等)投影到公共的低维汉明空间中,并保持原始特征空间中媒体间和媒体内的语义一致性。它的提出有效的加快了大规模跨模态检索的速度以及降低了存储开销。深度跨模态哈希能够同时进行深度特征学习和哈希学习,显著地提高了跨媒体哈希的检索精度。虽然已有的深度跨模态哈希方法取得了一定的研究成果,但仍然存在两个重要问题:(1)现有的无监督深度跨模态哈希方法大多缺乏语义标签的指导,使得学习到的哈希码中所包含的语义信息十分有限,而语义信息的不足将直接影响检索精度;(2)现有的有监督深度跨模态哈希方法平等地处理不同的跨模态检索任务(图像检索文本和文本检索图像),它们通常以对称的方式来学习相同的哈希函数,从而忽略了不同跨模态检索任务之间的差异,这可能会导致次优的性能。针对问题(1),本文提出一种基于虚拟标签回归的无监督深度跨模态哈希算法。该算法提出了一种统一的学习框架,能够同时进行深度哈希函数训练、虚拟标签学习和回归。具体来说,该方法在多模态深度表示的基础上,通过协同矩阵分解学习统一的哈希码,以保证多个模态共享相同的语义。此外,目标函数进一步引入虚拟标签的概念,并将学习到的虚拟标签回归到哈希码中,为哈希学习提供了强有力的语义监督,提高了跨模态检索性能。最后,该方法设计了一种迭代的优化策略来直接更新深度哈希函数和离散二值哈希码,并通过迭代学习逐步提高哈希码的判别能力。在三个公开的跨媒体检索数据集上的大量实验验证了该算法的有效性。针对问题(2),本文提出一种任务自适应的非对称深度跨模态哈希算法。该算法通过同时进行模态表示和非对称哈希学习为不同的跨模态检索任务学习任务自适应的哈希函数。与以往的深度跨模态哈希方法不同,该方法所提出的学习框架联合优化了从多模态特征到哈希码的语义保留,以及从特定查询表示到显式标签的语义回归。该方法学习的哈希码能够有效地保持多模态数据之间的语义关联,同时自适应地捕获查询语义。此外,还设计了一种可直接学习二值哈希码的离散优化策略,有效地减轻了松弛量化误差。在两个公开跨媒体检索数据集上的大量实验从多个方面验证了所提出方法的优越性。
其他文献
近年来,布洛芬(ibuprofen,IBP)作为使用最广泛的非甾体抗炎药(NSAIDs)之一,已经成为一种新型污染物,在污水、地表水、沉积物、地下水和海洋环境中被广泛检测到,对人类健康和生态
人物对话中往往体现了人与人之间的社会关系。在人际关系中,权势关系是最重要的一种。小说人物角色之间的权势关系主要是通过对话来展现、建立和维系的,因此在小说对话翻译中
刑事意见证据规则是证据规则体系中的重要内容,该规则要求区分证人提供的事实和意见,防止证人提供的意见影响法官的裁判。2012年在司法解释层面确立了刑事意见证据规则1。但是长期以来,刑事意见证据规在理论界和实务界没有得到应有的重视,对于意见证据规则的研究往往不够深入,实践中大量意见证据进入刑事裁判,刑事意见证据规则基本虚化。本文立足于意见证据规则的基础理论,对于意见证据规则在我国的司法现状展开考察,分
环氧树脂(EP)因其优异的绝缘性能,良好的力学性能、热和化学稳定性,而被广泛应用于航空航天、电子仪表、绝缘材料等领域。随着科学技术的不断进步,许多高新技术领域对环氧树脂
改革开放以来,我国社会组织出现明显增长,随后我国提出了“双重管制”,即社会组织受到登记管理机关和业务主管单位的双重管理,对社会组织的发展进行规范和严格管理。党的十七
聚乳酸(poly(L-lactic acid),PLLA)是一种半结晶聚合物,具有出色的机械性能、生物相容性和可生物降解性,是符合国家发展需求的新兴绿色塑料。纯PLLA的结晶度较低且结晶速率较
齿轮是国家工业体系中重要的机械零件,广泛应用于汽车、船舶、航空航天、兵器等领域,每年需求量不断上涨。随着科学技术的不断发展于创新,现代设备对齿轮精度的要求也越来越
强化学习以马尔可夫决策过程为基础,普遍适用于各类序列决策与规划问题的建模,因此在机器学习研究中受到了越来越多的关注,并部署应用在一些现实世界场景中。然而,大量研究证据表明,通过强化学习训练得到的模型在面对不同的环境动态时缺乏足够的泛化能力:当训练环境包含一定的随机性时,强化学习模型在该环境中的表现往往具有很高的方差;当测试环境与训练环境存在微小差异时,在训练环境上表现良好的强化学习模型反而在测试环
中华民族认同是中华民族的每一位成员感觉到大家是同属于一个人们共同体的自己人的这种心理,是对中华民族及中华文化的归属感,是中华民族儿女对中华民族的一种归属意识。我们
唐代赋税逋欠是唐代赋税研究的重要一环,也是唐代财政史中必不可少的一部分。据史料记载,赋税逋欠是各方面因素相互作用的结果,在唐中后期大量出现。本文通过对逋欠缘由、比重、走向的分析,可大致看出唐代财政的变化以及政治力量的对比。在文章结构方面,主要通过三部分论述:首先论述了唐代赋税逋欠产生的缘由。本文通过史料分析归纳,将其分为六类,即自然灾害、军事战乱、赋税繁重、产去税存、摊逃以及避而不纳。通过对产生逋