【摘 要】
:
移动互联网技术的迅猛发展和社交媒体的大规模普及,使得图像、文本、视频等多媒体数据呈现爆炸式增长,同时带来了大量基于检索的应用需求。以图像检索和跨模态检索为代表的多媒体检索,即,从海量数据中搜索与给定查询相关的数据,获得了广泛的研究和关注。多媒体数据之间的异构性差异、语义鸿沟,以及海量高维产生的高计算代价是实现高效准确多媒体检索的主要挑战。深度哈希方法通过将表示学习和哈希学习统一到深度模型,端到端地
论文部分内容阅读
移动互联网技术的迅猛发展和社交媒体的大规模普及,使得图像、文本、视频等多媒体数据呈现爆炸式增长,同时带来了大量基于检索的应用需求。以图像检索和跨模态检索为代表的多媒体检索,即,从海量数据中搜索与给定查询相关的数据,获得了广泛的研究和关注。多媒体数据之间的异构性差异、语义鸿沟,以及海量高维产生的高计算代价是实现高效准确多媒体检索的主要挑战。深度哈希方法通过将表示学习和哈希学习统一到深度模型,端到端地学习不同模态高维数据语义相似度保持的比特编码,能够有效解决上述挑战,成为多媒体检索的主流方法。然而,面对数据内容愈加丰富、检索需求愈加复杂的应用场景,现有深度哈希方法在哈希编码紧凑性需求同信息保持的平衡、多标签数据的多层相似度保持和准确查询意图捕获、采用传统跨模态学习机制在处理两种模态以上非对齐跨模态数据和模态种类不断增长的跨模态数据的学习方面存在诸多问题。为此,本文针对上述四个问题,展开对基于深度哈希的多媒体检索研究。本文的主要工作和创新点总结如下:(1)针对紧凑哈希编码仅保持全局信息丢失重要局部信息的问题提出一种用于图像检索的层次深度哈希方法。该方法将现有的单层哈希编码策略扩展为两层编码策略,第一层对包含更多局部信息的卷积特征进行编码,第二层则通过压缩第一层特征获取更紧凑的全局编码,以提高哈希编码的表达力。此外,提出基于注意力机制的方法选择查询图像第一层编码中的必要编码位,避免使用完整编码以降低计算代价,为了加快该过程,进一步提出了基于特征相关性分析的快速版本。最后,结合两层哈希编码提出层次化搜索方法实现更快速准确的检索。实验结果表明,该方法可以有效地学习到全局和局部语义信息保持的哈希编码,并且分层搜索可以显著提升单层哈希码的检索性能。(2)针对多标签图像检索中的查询意图模糊和多级语义相似度保持哈希学习问题,提出一种深度编码操作哈希方法。该方法允许用户提供多张图像作为查询,更加准确的表达查询意图。同时,通过在语义上对这些查询图像的哈希码进行操作发掘潜在的查询意图,实现更准确的检索。此外,通过建立汉明距离和语义相似性的线性关系提出间隔自适应三元组损失用于联合优化哈希编码网络和编码操作网络,实现多级语义相似度保持的哈希编码学习。为了进一步提高编码操作的质量,提出利用对抗学习方法缩小原始哈希编码和操作后哈希编码间的分布差异。实验结果证明该算法能够有效学习保持多级语义相似度的哈希编码,编码操作能够实现多查询图像的检索任务。(3)针对传统跨模态学习机制无法充分利用两种模态以上非对齐跨模态数据的互补信息进行有效学习的问题,提出一种跨模态记忆网络模型。该模型通过注意力机制学习读取预存储互补的多模态判别性数据实现对跨模态数据的有效表示。同时,利用语义信息进行跨模态相似度的学习,避免了训练时对对齐多模态数据的依赖。此外,提出在对抗学习框架下利用多模态数据的模态类别信息来提高公共表示的质量,这些表示最终被哈希层编码提高检索效率。在四个图像-文本模态数据集和一个五模态数据集上的实验结果证明该算法能够学习到跨模态数据语义相似度保持的哈希编码,并且能够获得最优的检索性能。(4)针对传统跨模态学习机制无法有效处理模态种类不断增长的跨模态检索问题,提出了符合人脑认知机制的顺序跨模态表示学习算法。该算法通过维护一个统一模型,按模态顺序地学习各模态数据语义信息保持的公共哈希编码表示,有效地克服了现有跨模态检索算法在实际应用中的缺陷。此外,为了解决深度模型在顺序学习时面临的灾难性遗忘问题,提出了基于优化的元学习算法。该算法通过在有限的旧模态和新模态数据上学习更新统一模型,可以有效地在新模态数据上优化统一模型并保持其在旧模态数据上的性能。大量实验结果证明,该算法能够有效地学习跨模态数据语义保持的哈希编码,并获得同现有算法相当的检索性能。
其他文献
砷(As)是国际公认的一类致癌物,主要是通过矿物开采、金属冶炼、化石燃料燃烧和含砷药物研制等生产活动过程中的排放而进入水体,对水生生物和人体健康造成严重危害。吸附法是目前治理含砷废水最经济可行的方法之一。随着社会经济和工业的快速发展,含砷废水成分变得日益复杂化,传统的吸附材料已很难达到较好的预期治理效果。为获得具有高吸附量、快速吸附动力学和高选择性吸附材料,本文以硅藻土中的硅藻(Dt)为印迹基底,
从17世纪发生在荷兰的郁金香泡沫开始,金融的发展历史便离不开资产价格泡沫的身影。资产价格泡沫的产生不仅在投资者间造成了财富再分配效应,其本身更是预测未来金融危机是否发生的重要指标。股票市场作为金融资产的重要组成部分,其价格的暴涨暴跌同样也会对实体经济产生影响。在我国A股市场短短三十余年的历史中,同样出现过数次全市场层面的泡沫,其中2008年的金融危机以及2015年的股灾让人印象最为深刻。2015年
移动电子设备和电动汽车的蓬勃发展对锂离子电池(LIBs)的能量密度和功率密度都提出了更高的要求。V2O5拥有高达441 m Ah·g-1的理论嵌锂比容量,远高于目前广泛应用的正极材料如Li Co O2(140 m Ah·g-1)和Li Fe O4(170 m Ah·g-1)的比容量,V2O5还具有储量丰富、价格相对低廉、容易制备等优势,近年来受到了人们的极大关注。然而V2O5较差的循环性能和缓慢的
在污水处理领域,半导体光催化剂的研发与应用受到研究者们的广泛关注。学者们主要致力于研制高效降解污染物和有效利用太阳能的各类光催化剂,但现有的催化剂存在利用可见光波段不够充分等不足,同时催化剂的低毒性、原材料的低成本等需求没有引起足够的重视。本文基于优选的低成本铋基半导体材料,通过引入缺陷工程、稀土元素、等离子体和半金属半导体Bi的方法,成功制备了以氧缺陷Bi2O3和Bi OBr为基础的新型可见光催
石化行业是我国国民经济基础和支柱型产业,其发展状况关系到整个国家的经济发展水平。我国石油化工行业发展迅速,体量庞大,但存在大而不强、重要材料过度依赖进口、产业链发展不均衡等问题。随着竞争格局的加剧,我国石化产业正在迎来产业重构。近年来我国石油化工产业区域结构在不断升级,落后产能逐渐淘汰,创新能力迅速提升,石化行业企业间的竞争已演变为产业链竞争,许多大型石化企业将实施全产业链战略作为发展重心,虽然全
受生产与消费格局的影响,煤炭从主产地到消费终端流量大、运输距离长。铁路是煤炭长距离陆运的主要方式,随着国家对环保工作的要求越来越高,对铁路煤炭运输抑尘工作提出了新的要求。在阐述铁路煤炭运输抑尘工作的现状基础上,分析抑尘不达标的危害,以及包神铁路集团煤炭运输抑尘工作存在的问题。通过建立铁路车辆煤炭表面积测算模型,对煤炭装载高度超出和低于车辆端侧墙等不同情况下抑尘剂的喷洒面积和喷洒量进行研究,得出各类
手足口病是一种由肠道病毒引起的传染性疾病,该病常见于学龄前儿童,婴幼儿多见,可引起发热和手、足、口腔等部位的皮疹、溃疡,影响着婴幼儿的健康.引发手足口病的肠道病毒种类繁多,如柯萨奇病毒A5型、A10型、A16型、A19型和EV71型等,其中以柯萨奇病毒A 16型(CVA16)和肠道病毒71(EV71)最为常见.近年来,手足口病已成为中国大陆的主要公共卫生问题之一,然而目前只有EV71灭活疫苗可用.
<正>建设现代中央银行制度,是我国当前和今后一个时期金融改革的重点任务和重要内容。中央银行在宏观调控、金融改革、金融稳定、金融基础服务等关键领域都居于突出地位。为建设好现代中央银行制度,我国中央银行可从如下几个方面形成重点工作抓手:在党的领导下强化健全货币政策体系,在重点领域积极稳妥推进金融改革进程,切实做好金融稳定各项机制建设,提升必要性、关键性金融基础设施功能和提高服务质效等工作。
<正>水是大家都熟悉的饮品,也是健康生活必不可少的营养物质,所以又被人类称为生命之源。饮水有利于健康,这一点相信大家都已经有了不少相关的了解。但是,水还有一些特性和食疗功效。人们在进行定期的健康体检中发现,林林总总的项目中一定少不了B超检查,这种检查主要是看消化系统各重要器官的健康情况。检查前医生总是会叮嘱不要吃饭,特别是不能吃油腻的食物,以免
白粉菌危害多种作物和蔬果,造成重大损失。因此对白粉菌广谱抗性蛋白RPW8.2进行研究具有重要的研究价值和意义。我们在前期研究中通过白粉菌侵染后的拟南芥材料构建的酵母双杂交c DNA文库,从该文库中我们筛选到一个来源于白粉菌的RPW8.2的互作蛋白,将其基因命名为R8IP1。在后续研究中我们成功的找到了R8IP1在白粉菌侵染寄主过程中靶向宿主的另一个关键蛋白PAPP2C,并对R8IP1在侵染宿主中发