基于图神经网络的多标签图像分类研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:solarshu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息科学技术的发展,图像已经深入人们生活的方方面面,图像中的内容也越来越复杂。多标签分类比单标签分类更能准确的描述图像中的内容,因而得到广大研究者的关注,并成功应用在智能管理相册、自动驾驶、广告推荐和视频监控等领域中。为了进一步提高多标签图像分类的效果,本文提出了基于语义空间注意力机制的多标签图像分类模型和基于语义通道注意力机制的高分辨率分类模型,具体的研究内容如下:(1)提出了基于语义空间注意力机制的多标签图像分类模型。该模型包括两部分,用于获取标签语义词嵌入的图神经网络和基于语义空间注意力机制的图像特征提取网络。现有的构造图神经网络中标签相关性矩阵的方法,常常忽视了标签间潜在的“正相关”、“负相关”关系。为了解决这个问题,本文在使用标签静态统计信息的基础上增加了能够描述标签潜在关系的标签词向量来共同构造标签相关性矩阵,标签词向量采用BERT的预训练模型生成。在此基础上,本文把标签语义信息引入空间注意力机制,在语义信息的指导下,生成的空间注意力图能够显式的对标签间相关性进行建模,进而提高模型的准确率。在Microsoft COCO数据上,本文提出的模型在m AP上取得了84.3%的最好成绩,验证了本文提出的方法的有效性。(2)提出了基于语义通道注意力机制的高分辨率分类模型。首先,本文使用高分辨率网络提取图像中不同尺度物体的图像特征,避免小尺度物体的特征被卷积操作和池化操作覆盖。其次,本文将标签语义信息引入通道注意力机制并在此基础上提出了语义融合特征模块,该模块用于融合高分辨率网络输出的不同分辨特征,最终实现了一个能在标签语义信息指导下提取图像特征的多标签图像分类模型。在Microsoft COCO数据集中,本模型的m AP比基准模型提高了2%,验证了本文方法的有效性。(3)基于前面两种模型设计并实现了一套公共场所的危险物品检测系统。本系统能对公共场所的危险物品进行检测预警,提高了公共场所的安全性,也能够减轻视频监控人员的监控压力。
其他文献
深入理解图像的语义信息是计算视觉领域发展的关键,然而在视觉任务中,高级语义信息的获得并不容易,这导致视觉场景图的生成成为一项极具挑战性的任务。视觉场景图生成能帮助本文获得更高阶的语义信息,它作为桥梁连接了物体检测和场景理解,在物体检测的基础上,对物体之间的关系进行建模识别,并使用“主语-谓词-宾语”这样的三元组结构表征物体间的有效关系,最终通过连接这些三元组构成一幅有向的视觉场景图。尽管以往的工作
传统的图像分类任务在很大程度上取决于大规模的数据集,该数据集可为所有类别提供经过标记的样本。但是,在现实世界中,图像的类别遵循长尾分布,其中大多数类别很少出现,因此很难为这些类别收集大量标记的样本。另一个挑战是新定义类别的爆炸式增长,为这些新类别找到足够多的范例是非常困难的。近年来,为了解决这些类别的分类问题,零样本学习得到了广泛的研究。人类可以通过现有的知识动态地创建新的类,而不需要视觉数据。例
随着基于深度学习的算法出现,各种计算机视觉应用都取得了令人瞩目的进步。但是,大量现有工作已经清楚地证明了深度神经网络(DNN)容易受到对抗样本的攻击。而对抗样本攻击就是在输入数据中添加细微的、人眼不易察觉的噪声,从而误导深度网络模型的预测。这些对抗攻击的存在有利于研究人员了解深度网络模型的脆弱性。目标攻击是指攻击方想要将模型预测结果改变为某些提前指定的目标类别中。而目标攻击又可以根据攻击者对于所攻
自2012年深度卷积神经网络在分类任务上的成功以来,计算机视觉领域便迎来了蓬勃的发展。但是,随着研究的深入,计算机在关于视觉单一模态的众多任务中均已超过人类认知的能力。考虑到未来人机交互,联合传统计算机视觉和自然语言的一系列基本挑战逐渐受到研究者们的关注。在计算机视觉三大任务之一的目标检测的基础下,基于语言描述的目标检测在2014年被提出。基于语言描述的目标检测旨在通过物体的自然语言描述在对应图像
生成对抗网络依靠其非监督的学习方式和强大的生成能力,自2014年提出以来就受到了人们的重点关注。GAN在不断提出新模型的同时也遇到了许多新的问题,其中远距离依赖关系拟合能力差,图像全局特征不一致及因此导致的生成图片质量差等问题不断出现,限制了GAN的进一步应用。本文围绕基于通道特征学习的生成对抗网络图像生成方法展开研究,提出了一种有效利用通道特征提高生成图片质量的方法。通过跟踪国内外相关领域的最新
自2012年Google正式提出知识图谱概念以来,知识图谱已经在智能问答系统、推荐系统、垂直搜索服务、辅助决策系统等多个领域展现出丰富的实际应用价值,受到工业界和学术界的广泛关注。但目前知识图谱依旧面临着人工构建成本高、数据稀疏、信息不完善等缺陷,极大限制了知识图谱的应用能力。目前,如何对知识图谱进行高效的表示与推理依旧是研究工作的重点和难点。本论文针对现有研究方法对知识图谱图结构信息利用效率低、
数据集成是信息检索领域的一个关键性任务。其中,实体统一任务是数据集成的一个关键步骤,也称为实体匹配或重复记录检测。实体统一任务指的是,在不同来源的数据中,找出指向同一现实世界中的实体的数据记录。早期的研究主要是基于字符串距离的算法。这种无监督的方法缺乏有效性和泛化性,因为预定义的匹配阈值通常随着数据集的变化而变化,需要人工为不同的数据集设定阈值,缺乏泛化性。另一条研究分支是基于众包的实体统一算法。
随着大数据时代的到来,指数级增长的数据量使得人们淹没在数据文海之中,如何能在浩如烟海的文本之中提炼所需要的信息变得格外重要。自动文本摘要是指利用概率统计、机器学习、深度学习、神经网络等,从文本中提取主旨信息,挖掘关键信息,将文本的主要信息凝缩成简洁表示的摘要。目前在新闻标题生成、文本检索、知识问答等方面得到广泛应用。序列到序列模型是自然语言处理中用途最广泛的模型,一般由编码器和解码器两大部分构成。
近些年来,许多高维数据在不同的领域中产生。这些高维数据不易用传统方法处理,但迫切需要从这些数据中分析潜在的信息和模式。但是现在的机器学习模型更多地采用矩阵形式,这样会使得我们处理数据需要对数据特征进行向量化处理。对于多元之间的的信息融合和共享,采用矩阵运算表示会很复杂,而张量多线性表示其本身是更加自然的描述。描述张量多线性操作的图示,即张量网络由于其表达的便捷性,现在越来越流行。因为很多低秩的张量
任务规划技术在现实生活中应用十分广泛。任务规划算法通常在给定有限的子任务空间下进行子任务安排,进而得到一条可以满足业务需求的任务流程。目前,基于开放性空间的任务规划求解问题成为研究热点。但这类方法因开放性解空间的原因,对于交互性和动态调整性提出了需求,用户需要在任务规划阶段交互式参与解决方案的调整。为此,论文以代码模块组合任务规划为典型场景,将代码模块组合任务规划分解为代码搜索与代码组合两部分,解