语义级表征学习方法及其应用研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:po689322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,表征学习技术广泛应用于各种图像分类、目标检测和模式识别等深度学习任务,其很大程度上提升了此类深度学习方法的性能。但是针对特定的任务,只能使用特定的表征学习方法,所提取的表征在泛化性方面存在一定的局限。本文通过设计自监督生成模型来提取语义级表征,该表征相比传统的表征学习具有更好的复用性和可解释性,并且其辅助的下游分类任务或基于语义级表征的匹配模型均有一定程度的精度提升。本文致力于语义级表征学习的研究,分别提出了语义级解耦表征生成方法和语义级拓扑信息表征生成匹配方法来提取解耦表征和拓扑信息表征。本文的主要研究内容如下:(1)提出一种基于对比学习和格拉姆矩阵的图像解耦表征生成优化方法,提高生成图像质量的同时,进一步促进表征的解耦。该方法利用循环神经网络生成具有鲁棒性的锚定样本,然后将其输入对比学习框架,以提取高效的有利于解耦和生成的语义级信息表征。此外,为提高解码器的重建质量,本文引入像素级格拉姆矩阵对输入和输出图像施加额外的约束。相关实验从三个方面验证了该方法的优势,即解耦表征的定性分析、解耦性能的定量比较和对下游分类任务的精度比较。(2)提出一种基于Caps-GAN网络和混合损失的拓扑信息表征生成匹配方法,用于解决遮挡情况下的图像匹配问题。该方法分为两个步骤:首先,提出基于Caps-GAN网络的拓扑信息表征生成方法,该方法以遮挡区域定位、语义级表征提取为驱动,借助基于自适应注意力机制的遮挡区域检测模块,通过使用胶囊生成对抗网络保留拓扑信息表征,将遮挡情况下的图像恢复成完整的目标对象图像;其次,提出基于混合损失的拓扑信息表征匹配方法,利用生成方法所恢复的完整目标对象图像进行匹配,避免空间错位,同时利用分类损失、三元组损失、边际损失和余弦相似度损失联优化匹配方法。通过将拓扑信息表征生成和匹配方法相结合,实现了图像从恢复到匹配的拓扑信息表征的一致性。传统方法只能匹配图像中可见部分的特征信息,当遮挡区域不一致时,可能会导致匹配错位。拓扑信息表征生成匹配方法可以缓解遮挡情况下的图像空间特征错位的问题,在完整、遮挡行人数据集和面部部分遮挡的人脸数据集上的实验结果验证了本文所提出方法的优秀性能,同时分别展示了生成和匹配方法的可视化图片,并进行了消融实验,验证了所设计框架的有效性。(3)设计并实现语义级表征及其应用原型系统。该系统的功能模块包括信息上传模块、语义级解耦表征生成模块、基于语义级表征的生成匹配模块和结果信息存储模块。首先,在技术层面对本系统的架构进行了阐述和分析,并根据系统的功能需求采用模块化设计思想,明确每个模块具体实现的功能。其次,详述了用户点击功能按钮后每个模块的工作流程和页面展示。结果表明,该系统运行稳定、具有良好的人机交互页面。
其他文献
近年来,移动视频业务在移动互联网业务中所占的比重越来越高,视频流量的爆发式增长给5G移动网络造成了巨大的挑战。为了保证移动用户侧更好的服务质量体验,要求移动网络提供更高的数据传输速率和更低的网络延迟。而现有5G承载网基于TCP/IP架构设计,采取以主机为中心的端到端通信模式,不具备泛在缓存能力,安全性和移动性支持也较差,难以有效支撑5G视频分发业务。为了从根本上解决基于传统5G承载网面向视频分发业
学位
对肿瘤基因表达谱数据集进行数据挖掘获取的有效基因信息对癌症治疗有重要意义。肿瘤基因表达谱数据集属于高维小样本数据集,含有大量冗余信息,难以直接用于分类。很多基于单种群进化算法的基因选择方法可以得到较高质量的基因子集,但在选择过程中仍存在关键基因未被选中,且算法易陷入局部最优的问题。因此,本文基于多群协同进化策略对单目标粒子群优化算法和多目标粒子群优化算法进行改进以实现基因选择,主要工作如下:(1)
学位
随着线上化,无纸化进程的推动,出现了多样的票据种类与应用场景,如医疗清单结算,法院文书记录,保险单核算,文档归档等等。这些票据不再像以往传统发票的统一格式,具有很多极端长宽比的长文本行和单一数字的小文本,它们以密集的形式分布排列。通用的文本检测方法,由于网络的感受野有限,无法充分利用所需的信息来准确预测长文本实例的空间范围;又因为特征提取网络多次卷积下,小文本的空间信息大部分丢失;并且基于分割的方
学位
人参是我国传统名贵中药材,具有增强器官功能、抑制炎症、预防肿瘤及抗病毒等多重功能。中国作为世界上最早开展人参栽培的国家,现今栽培面积和产量位居世界首位,其作用及经济地位不容忽视。由于伐林栽参破坏林区植被系统,严重危及林区生态安全,已被严令禁止,人参种植已向农田栽参模式转移。农田土壤病害严重、有益微生物少、养分失衡等诸多因素限制着人参产业的进一步发展。如何调控土壤微生态系统、促进微生物群落正向演替、
学位
杜鹃花类菌根真菌(Ericoid mycorrhizal fungi,EMF)和深色有隔内生真菌(Dark septate endophyte,DSE)可共定殖于杜鹃花科植物毛根中,可促进植物的养分吸收,但二者的相互作用关系尚不明确。探究两种真菌之间的互作关系,对杜鹃花科植物的生长发育具有重要意义。本研究以笃斯越橘(Vaccinium uliginosum)和红豆越橘(Vaccinium viti
学位
白桦(Betula platyphylla Suk)属于桦木科(Betulaceae)桦木属,落叶乔木。WUS基因作为植物生长信号的主要调节者,对于维持芽尖分生组织中的干细胞生态位、侧基的分化、植物细胞全能性和其他不同的细胞过程是必要的。为进一步研究WUS基因在白桦中的作用,通过生物信息学的方法分析了Bp WUS基因,克隆了Bp WUS基因并构建了Bp WUS-PA7-GFP融合表达载体,通过真空
学位
近年来,冷链产品问题频频发生,不仅损害了产品生产者的形象与信誉,也危害着消费者的身体健康,但传统的冷链溯源系统存在数据易被篡改等问题,无法保证信息的真实性。区块链技术具有去中心化、可追溯和去信任等天然特性,使其在冷链溯源方面有着广阔的发展应用前景。作为区块链技术的核心与重点,共识机制一直制约着区块链技术的实际场景应用,而如何就数据的正确性及一致性达成高效共识成为了区块链技术的突破点之一,共识机制的
学位
从传统汽车向智能网联汽车(Intelligent Connected Vehicles,ICVs)发展的过程中,部署在车内的控制器局域网络由于缺乏足够的防御措施,使ICVs面临的攻击不断增加,且攻击方式具有不确定性和多样性的特点。因此,研究ICVs防护方法,解决恶意攻击带来的信息安全威胁是一项极具挑战性的工作。基于深度学习的入侵检测系统(Deep Learning-based Intrusion
学位
水貂肠炎病毒(mink enteritis virus,MEV)是一种对环境抵抗力较强的单链DNA病毒,给全球水貂养殖业造成了巨大的经济损失。目前,MEV感染靶细胞的机制尚不清晰,使其防控异常困难。明确病毒的感染机制对制定有效的抗病毒策略非常重要。基于量子点的单病毒示踪技术因其可在活细胞中实现病毒粒子成像,目前已成为探究病毒侵入细胞分子机制的实用方法。本研究选取生物素(biotin)-链霉亲和素(
学位
知识图谱以图的形式描述客观世界中实体及其之间的关系,但目前知识图谱的图结构主要用于后台的数据逻辑处理,前端的应用并不是很充分,为此论文将图的可视化技术引入到知识图谱应用系统前端技术中,以提升用户视觉体验,使用户能够更直观、更高效地获取知识图谱的重要节点信息及主要结构特性。图的可视化技术以图中节点和边的合理布局为核心,目前主流的布局模型为基于力学引力和斥力作用的力导向模型,论文以该模型为基础模型,以
学位