【摘 要】
:
零样本学习的目标是去识别在训练过程中没有出现的类别,对于传统的分类方法很难依靠训练集中的样本来识别没有见过的类别。因此早期的零样本学习方法开始引入其他模态的信息如语义特征来帮助识别不可见类别的视觉特征,通过训练一个嵌入空间,将视觉特征和语义特征投影到这个共同的空间,再通过该空间中的度量学习完成预测,本文把这种方法称为基于嵌入式的方法。然而,这种方法很难避免偏差问题,即不可见类别会更容易被误分类为可
论文部分内容阅读
零样本学习的目标是去识别在训练过程中没有出现的类别,对于传统的分类方法很难依靠训练集中的样本来识别没有见过的类别。因此早期的零样本学习方法开始引入其他模态的信息如语义特征来帮助识别不可见类别的视觉特征,通过训练一个嵌入空间,将视觉特征和语义特征投影到这个共同的空间,再通过该空间中的度量学习完成预测,本文把这种方法称为基于嵌入式的方法。然而,这种方法很难避免偏差问题,即不可见类别会更容易被误分类为可见类别,这是由于模型都是通过可见类别样本训练的。因此近些年的学者尝试使用另一种方法来解决零样本学习从而避免偏差问题,他们使用了深度生成模型来直接生成不可见类别的样本并补充到训练集中。这种基于生成的方法依靠主流的生成模型如对抗生成网络[1]或者变分自编码器[2],但是这些生成模型的训练过程不稳定,这也导致了生成的不可见类别的特征中的视觉信息和语义信息难以得到保证。为了解决这个问题,本文基于现有的生成模型提出了跨模态语义增强对抗生成网络,通过将跨模态特征引入生成网络来提升生成特征的视觉信息和语义信息。跨模态语义增强对抗生成网络使得对抗生成网络中的生成器能够生成跨模态特征,并利用辨别器来辨别真实的跨模态特征和生成的跨模态特征。此外,本文将模型中的跨模态语义增强模块作为一个“弱约束”用在对抗生成网络之上,来尽量减少对于对抗生成网络的依赖,并且尽量少地影响网络的稳定性。本文在三个常用的零样本学习数据集上验证了模型的优越性,其性能超越了其他基于生成模型的方法。此外另一种基于图的零样本学习方法也逐渐得到学术界的关注,这种方法基于Image Net-21K[3]这种大型数据集,通过大量的类别间的关系构建图网络,并使用图卷积[4]在图上提取信息,最终直接生成目标的视觉分类器。本文在基于图的方法的基础上进行改进,提出了语义增强知识图谱和多重粒度融合图网络,引入了语义特征和多粒度融合,从语义模态和视觉模态对图网络进行增强,对知识图谱进行语义上的降噪和增强,并修改图卷积堆叠方式来捕捉多重粒度的信息,最终生成更加准确的视觉分类器。本文在性能实验中验证了模型在性能上相较于其他模型的优势。
其他文献
随着互联网内容平台和电商等平台的兴起,互联网上的数据开始爆炸式增长,互联网用户经受着严重的信息过载问题。推荐系统作为一种解决信息过载问题的工具,是互联网中的一项非常重要的技术,同时也因为信息过载,推荐系统也经受着严重的数据稀疏性问题。各个类型的辅助信息通常被用来解决推荐系统的数据稀疏性问题,知识图谱作为一种含有丰富信息的异质图结构的语义网络,近年来被广泛地运用到推荐系统中。本文首先介绍了推荐系统数
互联网和社交媒体平台的普及极大促进了人们的信息交流,通过社交媒体平台,人们可以便捷的发布和接收信息。然而,社交媒体平台上的信息并不一定总是真实的,也存在一定数量的谣言信息和不实信息。社交媒体平台上谣言的无限传播对社会产生了巨大的负面影响。为了解决这一问题,研究者们提出了许多谣言检测方法,并取得了良好的效果。然而,标注数据的稀缺和样本数据间标签分布的不均衡严重制约了谣言检测研究的进一步发展。更糟糕的
随着当前中国城市化浪潮的快速推进,农民大规模进城务工现象已发展为时代主流。在当前的社会历史条件和发展维度下,农民工不仅是城市的建设者和奉献者,也是城市开发的先锋队,更是城市持续繁荣的后备军和生力军。在宏观政策引导、基层治理推动和个人能力发展的强力加持下,每一位农民工都有完全的可能性干在城市、留在城市、进而扎根城市,并逐步发展为城市的“当家者”和“主人”——即真正意义上的“新市民”。农民工群体发展状
悲剧,作为西方文学的重要发端之一,从产生、发展、兴起再到衰亡的每个阶段都是学术界历来关注和讨论的焦点。悲剧在其诞生之初,就已经达到了巅峰成就,随着时间的推移和社会的发展进步,悲剧逐渐走入瓶颈阶段,不少学者也因此提出了“悲剧衰亡论”、“悲剧已死”的悲观论调,其中以尼采在1872年的《悲剧的诞生》中提出悲剧灭亡问题为起始。自尼采后,二十世纪的西方学术界就对“悲剧已死”问题开始了漫长而深刻的讨论。本论文
上海是我国最重要的城市之一,并将努力在2035年建设成为卓越的全球城市。这个目标对上海基层社区治理提出了更高要求。本研究认为要想做好基层治理体系的研究与建构,必须对上海基层治理变迁有一个清晰了解,需要在历史经验的借鉴中积极探索、勇于创新,为新形势下的特大城市社会治理贡献基层智慧。本文基于研究社会主义价值引领下上海基层治理与时代逻辑之间的关系,结合中央、上海地方政府相关政策文件和上海基层治理体系建构
就业是民生之本,大学生就业如今已成为我国经济与社会的一个重大问题,特别是百年未遇的新冠疫情爆发以及随之引发的全球经济衰退使这一问题更加凸显和紧迫。目前,社会各界都针对就业问题展开了多学科研究。本文试图在借鉴已有研究成果的基础上,通过梳理马克思、恩格斯、列宁和我们党主要领导人关于就业的理论和论述,并以此为指导,将大学生就业工作与“大思政”教育结合起来,按照多元、多维、协同、系统的就业育人体系要求,对
“治理有效”是乡村振兴的总要求之一,而“三治融合”乡村治理体系是实现“治理有效”要求的重要方式。以社会资本理论为研究视角,结合中国乡村治理实践,提炼政党领导、社会信任、互惠规范和关系网络的分析框架,立足鄂西W村“三治融合”乡村治理体系的地方实践,研究“三治融合”乡村治理体系的生成逻辑与未来路向:发现“三治融合”乡村治理体系的生成逻辑为乡村社会资本再造为“三治融合”乡村治理体系生成提供条件,即基层党
视频时序性是视频帧序列区别于图像的一个重要特征,常视为图像级算法到视频级算法的桥梁,以提高视频算法的性能和效果。当前互联网发展,短视频成为了信息传播的主流途径,为了让用户获得更好的视觉体验,一些基于视频的处理算法越来越收到关注。基于深度神经网络的图像处理算法层出不穷,而视频的处理方式则相对简单,之前的方法没有很好的利用视频中的时序性,简单地将图像处理方法直接拓展到视频域中会带来帧闪烁问题;其次,由
随着互联网的飞速发展和数据的爆炸增长,出于网络服务提供商和用户两方面的需求,推荐系统得到了广泛的应用。一个好地推荐系统不仅可以让用户有效的获取到他所需要的服务,提升用户的满意度,同时也可以让服务提供商吸引用户,为其产生无法忽视的商业价值。对于推荐系统来说,点击率预估问题是至关重要的。随着近些年机器学习的不断发展,现在基于机器学习方法的点击率预估模型被广泛的应用。这些模型也取得了很大的成功,但是其仍