融合相关对齐和注意力原型学习的跨模态检索研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:kzhengting
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
跨模态检索是信息检索领域重要的基础技术,通过建模不同模态数据间的关联关系,实现从一种模态数据输入查询,输出多模态语义相关检索结果的功能。相比于单一模态检索范式,跨模态检索能够为查询者返回更加多样化的检索结果,丰富用户感知。本文研究连续值跨模态检索方法,针对映射特征的语义判别性、不同模态间数据的语义关联性,以及模型的可扩展性3个关键问题,提出一种融合相关对齐和注意力原型学习的跨模态检索模型(Attention-aware Prototype Learning joint Correlation Alignment for Cross-modal Retrieval,APLCA),用来学习类内紧凑且类间离散的语义一致性特征,提高检索的准确性。本文具体的创新工作和主要内容如下:(1)针对映射特征语义判别性不足的问题,提出基于注意力机制的原型学习方法,用于学习强判别性的语义特征。为了缓解噪声实例的影响,采用实例级的注意力机制来初始化原型表示,并通过原型网络学习到度量空间,以提取类内紧凑且类间离散的特征,增强映射特征向量的语义判别性。(2)为有效建模不同模态间的语义关联性,本文设计了深度语义相关性对齐方法,并无缝嵌入到神经网络全连接层中,通过最小化异构数据特征图间二阶统计量的差异,对齐不同模态数据的特征分布,并减小相同语义不同模态数据间的距离,从而引导网络生成模态不变的语义一致性特征。(3)针对检索模型在实际场景中可扩展性差的问题,本文采用实例级注意力原型学习方法,从少量新类样本中初始化该类别原型表示,以学习新类别数据的语义判别性特征,使得模型不仅在原始数据集上可取得良好的检索性能,在新类别数据上也能较好工作,从而验证了模型良好的可扩展性。(4)APLCA在Wikipedia、Pascal Sentence和NUS-WIDE-10k三个广泛使用的多模态数据集上进行了多角度检索实验,其结果验证了APLCA的有效性和易扩展性。此外,本文还将APLCA与多个优秀的跨模态检索方法进行比较,并在不同检索任务上对模型的性能进行评估,实验结果表明APLCA取得了最优的评价指标得分。
其他文献
目的:通过CRISPR/Cas9技术敲除自闭症易感基因ppp2r5d以建立斑马鱼突变体模型,并通过该模型研究ppp2r5d基因的敲除对斑马鱼早期发育、行为学及大脑转录组学的影响。方法:通过原位杂交实验和RT-q PCR实验获得ppp2r5d基因在斑马鱼早期发育阶段的时空表达谱。利用CRISPR/Cas9技术对斑马鱼进行基因编辑以获得F0代嵌合体,进行传代和筛选后获得F3代纯合突变体。对相同饲养环境
N2O是一种重要的温室气体,会对臭氧层造成破坏。土壤中的多种非生物机制和微生物活动会产生N2O气体。当土壤孔隙含水率(WFPS)大于70%时,反硝化作用是稻田土壤N2O排放的最重要途径。紫色土由于性质特殊,土壤氮素流失与N2O排放的风险尤为突出。施用生物炭可以改变土壤的理化性质,从而对土壤的硝化和反硝化过程产生影响,最终影响土壤N2O气体的排放量。目前有关生物炭对土壤N2O排放的影响作用机制仍需进
同时定位与建图(Simultaeous Localization and Mapping,SLAM)技术是近些年来最受关注的研究方向之一。本文围绕室内移动机器人,对现有的视觉SLAM经典框架进行改进,设计出适用于室内定位的SLAM算法,并通过公开数据集以及小觅摄像头采集的真实环境进行验证,结果显示本文算法显著提高了室内移动机器人定位的快速性及鲁棒性。本文的主要工作如下:1 现有SLAM框架往往考虑
风电齿轮箱是风电机组的核心部件,配置于风机主轴与发电机之间,其综合性能是衡量整个风电机组性能优劣的重要标准。由于风机机舱空间狭小,齿轮箱功重比要求高,且风电齿轮箱常年受到随机变向风载及瞬时强风冲击载荷,对其动态性能提出了较为苛刻的要求。因此,开展风电齿轮箱振动特性分析和结构拓扑优化的研究,对实现齿轮箱轻量化,提升齿轮箱动态性能具有重要的理论意义和工程实用价值。本文以风电齿轮箱为研究对象,开展时变风
非牛顿流体的混合涉及食品、医药、化学加工与废水处理等众多领域,能耗较高,强化其混合过程有助于节能减排。然而,非牛顿流体具有一定流变性及高粘性,使用传统搅拌桨进行混合时,动量难以传递,在桨叶扫过区域外易形成稳定的流场界面,搅拌死区难以有效消除,不利于流体有效混合。因此,需要建立强化非牛顿流体高效混合的方法。本文采用实验与模拟相结合的方法对非牛顿流体单相与固液两相混合进行研究。单相流体主要考察了桨叶类
分流板机构是在组合循环进气道模态转换装置中的重要机构,承担着调节上下流道进气量及完成模态转换的重要任务。由于分流板机构要承受高马赫数的气体的冲击,因此需要对分流板机构进行多目标优化以使其性能达到最优。综合考虑了其结构参数对系统固有频率、强度及弹性变形的影响,得到了多目标优化最优解,为本类特种环境下气体分流机构的前期综合设计与产品优化更新提供了参考。本文主要包括以下内容:首先,根据进气道分流装置的设
机器人的发展为制造业赋能,使制造业飞速升级提升,但随着应用场景的复杂化,传统的单纯以位置控制为控制方式的机器人已经不能满足需求。将机器人与视觉和力觉进行结合,是提高机器人灵活性、适应性、可靠性的重要手段,也是现在热门的研究领域之一,具备视觉与触觉的机器人拥有在不确定环境中完成任务的能力。轴类零件装配是工业生产中常见的机器人应用场景,提出一种有效的轴类零件的自动化柔顺装配方式可以极高的提升工业生产效
消化道疾病是系统疾病中最常见的一种疾病,肠胃道癌症是一种严重的消化道疾病,常见的肠胃道癌症如食道癌、胃癌和结直肠癌都与出血、息肉、溃疡等肠胃道感染相关,每年约有280万新发的肠胃道癌症病例和180万死亡案例。早期检查和治疗可以预防肠胃道癌症,WCE(Wireless capsule endoscope)能够以无痛无创伤的方法检查患者的肠胃道,通过观察患者肠胃道感染情况对可能出现的肠胃道癌症进一步诊
钢铁行业大气污染物中71%的NOx来自烧结工序,烧结烟气中氮氧化物排放控制引起国内外学者的关注。选择性催化还原(NH3-SCR)技术已被证明是去除燃煤烟气中氮氧化物最有效的技术之一。近年来,相关学者注意力转移到将SCR技术应用在烧结烟气低温脱硝过程中。因此,寻找一种适合烧结烟气操作温度而且活性较好的催化剂尤其重要。课题组前期研究发现,在烧结烟气较低的温度条件下,Mn-Ce/AC(活性焦)催化剂表现
熔化焊作为一种重要的金属连接技术,被广泛地应用于船舶、航空航天和汽车等工业制造领域。焊接过程中,由于热源的快速加热和冷却使焊接接头或焊接结构不可避免地产生焊接变形。焊接变形不仅会降低产品的制造和装配精度,而且会削弱结构的承载能力。同时,一旦产生过大的焊接变形,往往需要对其进行矫正,这样不仅增加生产成本,而且也降低生产效率。经过近五十年的发展,焊接数值模拟技术逐渐成为预测和控制焊接变形的有力手段。尽