基于图卷积神经网络和可逆生成模型的零样本图像识别方法

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:jing8522
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
零样本图像识别旨在解决在没有标注数据的情况下完成目标类别的识别问题。受启发于人类的学习范式,零样本图像识别方法借助类别之间的语义关联性,将从已知类别数据中学习到的知识迁移到未知类别数据,从而完成对未知类别数据的识别任务。目前大多数零样本图像识别方法试图将图像的视觉特征和类别的语义特征映射到一个共享嵌入空间,然后在共享嵌入空间中使用最近邻搜索算法确定图像的类别标签。由于训练集和测试集中包含的类别不同,且图像特征空间与语义特征空间的流形结构不一致,导致该类方法经常出现投影域漂移、映射偏置和枢纽点等问题。为了缓解上述问题,论文借助类别层级结构关系、图卷积神经网络和可逆生成模型对零样本图像识别问题进行研究,主要包括以下三个方面内容:(1)借助Word Net词典包含的类别层级结构关系和描述文本,论文提出一种基于类别层级结构和多标签语义特征融合的词嵌入算法,将类别和其父类别包含的所有单词的词嵌入加权融合作为当前类别的语义特征。其中,类别层级结构信息可以提高词嵌入特征的语义指向性和判别性,而多标签语义特征融合有助于缓解词嵌入缺乏视觉相关性等问题。(2)针对目前基于图卷积神经网络的零样本图像识别方法普遍存在模型架构单一和类别关系图缺乏多样性等问题,论文提出一种基于多尺度类别关系和稠密链接的图卷积神经网络MDGCN模型,其借助多尺度图卷积操作将不同类型的类别关系图融入图卷积神经网络,并且利用稠密连接技术提升模型的表示能力和泛化能力。(3)针对目前基于生成模型的零样本图像识别方法存在生成数据缺乏多样性和模型表达能力不足等问题,论文采用一种新型的基于条件常规流的可逆生成模型CNFG解决零样本图像识别问题。CNFG模型通过若干个仿射耦合变换,直接将真实数据变换到服从正太分布的隐含变量,而后通过模型的逆向操作生成伪数据实例,该模型具有模型构建简单、目标函数明确和生成数据具有多样性等优点。
其他文献
近年来,随着信息技术的迅猛发展,将信息技术应用到城市地下管廊逐渐成为新的关注热点。本文以已有的智慧管廊系统架构为基础,设计实现了客户端的即时通讯、视频会议和数据推送等功能。同时,为了应对巡检中网络环境不稳定、可用资源有限等情况,本文从心跳机制、移动轨迹追踪机制、消息同步机制三个层面提出了一种智能巡检中即时通讯客户端关键机制的设计与实现方法。主要工作如下:1.针对巡检工作中可用资源有限的问题,提出了
随着电子商务逐渐融入人们的日常生活,电商平台上的用户评论数据的数量剧烈增长,这些评论代表着已购用户对所购买商品在一个或多个粒度的评价,这些用户评论的价值一方面体现在能够帮助潜在购买用户深入了解商品是否符合自己的期望,另一方面体现在能够帮助商家了解用户需求,改进商品质量。挖掘用户评论价值的有力手段之一就是情感分析,它作为自然语言处理领域中的关键分支,很长时间以来都受到研究者们的关注。近些年提出的细粒
光谱成像技术通过获取目标场景的二维空间信息以及一维光谱信息,由此构成“图谱合一”的数据立方体。该数据立方体能够提供大量有用的信息,因此光谱成像技术在诸多领域有着重要的应用价值。传统光谱成像技术存在光通量低,扫描成像时间长等问题;同时采集到的原始数据量较大给后期数据的存储和传输带来巨大压力。编码孔径光谱成像技术是一种基于压缩感知理论的新型计算光谱成像技术,它通过编码孔径模板以及色散元件对目标场景的空
目的:针对卫生健康委多监测系统间食品分类编码不规范、层级不统一,数据难以有效关联、深度挖掘等问题,研究实现全国食品污染物填报系统、食源性疾病暴发监测系统和全国食品微生物风险监测数据汇总信息平台等多系统食品安全数据规范及融合的机制。方法:以卫生健康委多系统食品分类和编码相关数据为研究对象,通过横向比较其在内的多个国内外现有食品分类编码体系以及总结各系统科学性,再结合中国复杂的饮食结构特征和食品独特的
随着两个《证据规定》、新《刑事诉讼法》及其司法解释的出台,在合法与非法证据之外,瑕疵证据作为第三类证据得到了立法的明确认可,瑕疵证据在补正之后具有证据能力,能够成为
核电是我国能源发展的主要方向之一。为了满足福建省快速增长的电力需求,“十二五”期间,福建省规划建成并投运宁德和福清两座核电站,共6台百万千瓦级装机容量的核电机组。从
作为区域性、综合性和实践性较强的学科,地理是培养综合能力和思维,处理人地协调关系的重要学科,且高级中学地理是初级中学地理的延续,初级中学地理作为高级中学地理的根基,地理实践性的考查在中考和高考中都尤为突出,显然初中地理实践力的培养至关重要,所以如何在义务教育初中阶段培养学生的地理实践力值得深思。STEM教育将获取知识、利用方法与工具以及创新生产进行了有机融合,以科学的、综合的思维面对社会化和多彩文
学位
泛圈图和哈密尔顿连通图一直是图论哈密尔顿问题中的重要课题,不仅具有丰富的理论意义,更展现出强大的数学建模价值.哈密尔顿性问题至今是NP-完全的,学者们主要从参数条件和
农产品物流是我国社会主义新农村建设的重要基础,是农业现代化的必然趋势,对农业发展和农民增收有着不可替代的作用。近年来,农产品物流主体向多元化方向发展,总体规模逐年增长,农产品物流发展具备了一定基础。农产品物流园区已成为国内外学者的热门研究对象,作为农产品现代物流中的重要组成部分,研究农产品物流园区布局规划具有很高的研究价值和现实意义。吉林省作为农业强省,也是我国农产品主要生产省份之一,农产品物流园
素描人脸识别是指通过将素描人脸图像在人脸照片库中与照片进行比对来识别素描图像对应的身份,其主要应用在锁定嫌犯身份等领域。与针对同一模态的传统人脸识别相比较,素描人脸识别旨在解决不同模态间的差异问题,其应用范围更广。合成素描人脸识别是素描人脸识别领域中的一个分支,合成素描相较于其他类素描,因其具有图片合成速度快、成本低的特点,故而受到了刑侦领域的喜爱,同时也引起了越来越多研究人员的关注。目前,现有的