基于注意力机制的网络表示学习算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:dlufey
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络表示学习是复杂信息网络分析的基础,旨在将网络中的节点(节点级)或者整个网络(图级)表示为低维稠密的实值向量,以期应用于节点分类、链接预测、图分类等实际任务。近年来,对网络表示学习的研究受到了越来越多研究者的关注,其中,基于深度学习的图神经网络在网络表示学习领域发挥着越来越重要的作用。然而,高阶邻域信息不能被有效利用是大多数现有的图神经网络存在的问题。本文针对该问题进行了研究,并在节点级和图级网络表示学习任务中提出了相应的解决方案,主要研究内容总结为以下两点:(1)在节点表示学习任务中,提出了基于注意力机制的融合多阶邻域信息的图卷积网络。我们首先在注意力机制中使用不同的屏蔽矩阵,提取融合了不同阶邻域信息的节点表示;然后提出了一种融合机制,将节点的多种表示融合成一个统一的表示。不同阶邻域信息的使用是独立进行的,避免了堆叠多个图卷积层引起的过度平滑问题。具体来说,本文使用输入图的邻接矩阵的幂作为屏蔽矩阵,将注意力权值矩阵相应位置置为0,以提取不同阶邻域的局部信息;另外,在融合过程中使用动态路由算法自适应地确定不同的节点表示对最终节点表示的贡献,以学习更有效的节点表示。在引文网络数据集上的节点分类实验表明,我们提出的方法比目前较先进的网络表示学习模型有更高的分类准确率。(2)在图表示学习任务中,提出了一种基于注意力机制的多注意力池,综合考虑了节点的属性信息、图的局部和全局拓扑结构信息。具体来说,本文基于注意力机制,使用图卷积操作将不同阶邻居节点的属性信息和结构信息整合在一起为每个节点计算多个注意力分数,然后将这些注意力分数进行加权求和作为节点排序的依据进而对节点进行池化操作,最后将池化后保留下来的节点的表示融合成最终的图表示。在生物图数据集上的图分类实验表明,与现有的图池方法相比,我们的多注意力池取得了更优的表现。
其他文献
采用外转子永磁同步电机的电动轮驱动车轮的这种驱动方式属于分布式驱动,相比于采用中央电机集中驱动的驱动方式,前者传动部件更少,能够节约一定的成本。电动轮由内部轮毂电机驱动,将电机与制动等部件集成在一起,构成电动轮整体,这也导致其对于自身结构设计以及自身结构对于电机散热的影响等都有较高的要求。本文以某款电动汽车具体参数作为参考,以电动轮新结构的开发和结构轻量化设计为研究目标,经过电动轮结构布置方案的确
近年来,为发展海洋经济、保护海洋权益,我国正在开展大规模海洋工程建设。然而,在海洋环境中,传统工程结构,如钢筋混凝土结构,存在严峻的钢筋锈蚀问题。此外,海洋工程建设还面临建筑材料的运输问题。为此,本文以纤维增强复合材料替代钢材,并和珊瑚混凝土进行组合应用,提出一种拉挤型材增强约束珊瑚骨料混凝土柱。其中,珊瑚骨料混凝土是以珊瑚骨料代替砂、石作为粗细骨料,并且采用海水进行拌制。这种新型组合柱不但可以从
肿瘤细胞表面的抗原多肽能够被细胞毒T淋巴细胞特异性识别而引起免疫应答,因此有可能用于研制基于多肽的抗肿瘤疫苗.用弱酸将人肝癌细胞系HLE 细胞表面抗原多肽和人正常肝细
高等职业教育处于蓬勃发展实践,面临着国际化与本土化的问题。本文从简要介绍澳大利亚TAFE教育入手,分析了在高等职业教育中C—TAFE即借鉴澳大利亚TAFE的职业教育理念,结合中国
会议
目的 :探索组蛋白H3K9、组蛋白H3K4的甲基化和乙酰化与巨噬细胞极化之间的关系。方法 :利用脂多糖(LPS)、干扰素γ(IFN-γ)刺激J774.1巨噬细胞24h诱导为M1型巨噬细胞,利用白
小学阶段开展的科学教育是启蒙性的。儿童是天生的发现者,他们对科学世界的诸多事物都充满无穷的想象和好奇。保持和发展少年儿童对科学世界强烈的好奇心和求知欲,激发学生无