基于门控图循环神经网络的小样本学习算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:ebear2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类认知智能的一个重要特点是能够从少数样本中快速汲取知识。虽然在过去的几十年里,深度学习的研究在广泛的应用中取得了显著的进展,但所提出的方法高度依赖于大量的标记数据。因此,在有限的可用计算资源下进行快速学习是一个挑战,即启发式地解决只有少量标记数据的新任务的小样本学习问题。学习一个分类模型并使之具有良好的泛化性能是小样本学习的目的,当该模型在遇到只有一个或几个样本的新分类任务时,也能表现出不错的分类性能。近几年随着图神经网络的出现与发展,一些研究试图用基于图的方法来解决小样本学习问题。现有的基于图的小样本学习方法,大多集中于单独学习节点特征或边缘特征,或只是简单地利用图卷积,未能充分保留及利用图结构信息。提出了一种双向边门控图循环神经网络(bi-GEGRN),该网络融合了边标注图框架和图卷积运算。将门控图循环神经网络修改为基于邻接矩阵生成器的双向形式,使得其能够在两个方向上处理图序列数据,然后将其与边标注图进行有机结合,在循环更新特征的同时聚合图结构信息。基于图卷积的优秀聚合能力和交替循环更新策略的良好性能,biGEGRN提升了元学习任务间的信息传递效果。为了验证该算法在有监督和半监督模式下的有效性和普适性,在三个小样本数据集上进行了大量的实验,并且bi-GEGRN显示了良好的性能。除了建模bi-GEGRN,还建立了一种用于提升基于图网络的小样本学习模型分类性能的图神经网络增强模型。该模型将原模型中的聚合模块视作学习节点,用循环神经网络单元作为学习点之间经验交流的媒介,用来提升原模型的分类效果。在建立模型的过程中,还定义了元学习在图神经网络增强模型中的训练目标,并用实验证明了这个增强模型在提升分类性能方面是有效的。
其他文献
随着计算机技术的发展,三维重建技术已成为计算机视觉方向的研究热点之一。基于多视图的三维重建通过对二维图像序列进行稀疏重建、稠密重建、网格构建、网格优化、贴纹理等过程获取重建对象的三维模型。然而每幅图像中包含大量的背景信息,使得重建的效率低下,重建的模型也包含着周围环境的信息。针对以上问题,通过对三维重建相关技术、图像分割相关技术进行研究,设计并实现了一个基于目标分割的三维建模系统。该系统包含两种数
学位
随着城市不断的发展,地铁也在飞速的建设着,全国各城市地铁运营里程和设备数量也随之激增。作为地铁线网信息传输的大动脉,覆盖了公务电话、传输、无线集群等多个子系统,其系统中设备运行维护的工作压力也在不断增加。本课题在实际项目需求的基础上,详细讨论了当前地铁设备运维的工作中,单纯依靠运维专员的故障经验进行故障处理的局限性,结合目前地铁系统原有的集中管理平台数据,针对设备健康度、设备故障告警、故障专家经验
学位
图卷积网络可以利用来自高阶邻接点的协同信号学习用户和物品嵌入,因此被广泛用于推荐系统之中。但是与其他图卷积模型一样,基于图卷积网络的推荐模型会遇到过度平滑问题,即当堆叠更多层时,节点嵌入会变得更相似,最终变得不可识别,从而导致推荐性能下降。在这样的背景下,对图卷积网络推荐模型进行研究,提出了一种基于子图的图卷积网络推荐模型,该模型通过对子图进行高阶图卷积的方式解决在图卷积网络推荐模型中出现的过度平
学位
随着移动互联网时代的高速发展,我国的主流视频网络企业不断壮大,并且更多的企业通过互联网、社交平台、电子商务等渠道来提升品牌价值,优化企业盈利模式,满足消费者的需求。人们逐渐从信息匮乏的时代步入信息过载的时代,为了给广大信息消费者提供精准的信息流,因此推荐系统逐渐成为移动互联网时代性下的核心关键技术。随着网络中视频流数量和视频流用户的数量急剧增加,视频推荐系统在数量累计的过程中往往会遇到冷启动的问题
学位
上下文信息的获取在语义分割任务中非常重要。卷积神经网络(Convolutional Neural Networks)通过堆叠卷积层扩大感受野,效率较低。基于自注意力的方法没有卷积操作中感受野的限制,更适合在语义分割任务中整合全局上下文信息和处理长距离依赖。但现有的自注意力方法普遍存在着参数量大,计算复杂度高的问题。针对以上存在的问题,设计了一种用于整合上下文信息的自注意力方法:点上下文整合(Poi
学位
室外定位技术目前已经相当成熟,包括有北斗卫星导航系统和GPS等在内的全球卫星导航系统,结合惯性器件或者先验数据和电子地图,进行最优估计和匹配,能够得到较为准确的位置估计。但由于其技术原理的局限性,在室内环境下无法进行定位。随着智慧城市、智慧校园等概念的提出,室内导航定位技术成为了不可或缺的一部分。目前室内定位的技术多为低功耗短距离定位,基于无线WiFi的定位技术在实现和部署方面具有天然的优势,硬件
学位
随着全球化的浪潮到来,信息化导致人们接受的信息呈现了指数型的爆炸增长,而其中各种信息中又以文本数据最为庞大。文本数据通常以非结构化的形式存在,而如何将非结构化的文本信息提取出结构化的信息并且使用计算机进行存储和处理是当前自然语言处理应用场景中一个函待解决的问题。关系抽取能够从非结构化的文本数据中提取到结构化的三元组信息,因此实体关系抽取的方向是解决该问题的关键方向。虽然近年来自然语言处理领域中关系
学位
随着中国社会步入老龄化,盆底功能性障碍疾病发病率将会呈现出上升趋势,盆底功能障碍性疾病已经成为常见的五大慢性病之一,其病征表现严重影响成年女性的生活质量和身心健康,需要进一步提升成年女性对于盆底功能障碍性疾病的认知以及实现盆底功能障碍性疾病的早期干预和治疗。实现盆底功能障碍性疾病的早期干预和早期治疗的重要环节为对盆底疾病进行早期的诊断和筛查,如何利用易于获得的数据对病患群体进行初步筛查,对于改进盆
学位
命名实体识别(NER)旨在找出文本中的命名实体并对其分类,是自然语言处理(NLP)领域中的关键任务,是问答系统、机器翻译等多种自然语言处理技术必不可少的组成部分。在实际的应用场景中,带标注训练样本的匮乏是一个不得不面对的难题,因此针对小样本学习的命名实体识别是一个十分重要并亟待解决的问题。随着大量的国内外对命名实体识别任务的不断探索与研究,目前有许多结合了神经网络强大特征提取能力与条件随机场学习标
学位
随着多元音乐文化的蓬勃发展,当今用户时刻都在接收各类新兴音乐文化,其喜好千差万别并向着差异化方向发展。各大音乐推荐系统虽然能减少用户的搜索时间,改善用户体验,但还是难以满足用户个性化需求。通过分析发现现有的音乐推荐系统一般只考虑用户与歌曲的二元关系,而忽略用户在听歌时所处的情景信息。因此对获取得到的情景相关数据进行充分分析,并采用合适的方式将情景特征融入推荐系统,具有重要的理论价值和实用价值。针对
学位