基于图自编码器的异质边网络表示学习研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lwp2007sh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络数据承载的信息量越来越大,如何从网络结构中挖掘有价值的信息成为近些年研究的热点。网络表示学习可学习网络的结构表示,用低维矩阵保留其结构特征。但现实网络中的节点间往往不只有一种关系类型,如何从异质边网络中挖掘复杂结构的信息相比同质网络更具挑战性。
  正则化图自编码器网络表示模型(Regularized Graph Auto-Encoder, RGAE)用于学习异质边网络的网络表示。该模型将异质边网络按其边缘类型分解为多视图网络,利用各视图间的协作、补充学习更鲁棒的低维网络表示。RGAE模型设计了共享和私有两种图自编码器分别用于捕获多视图间的一致信息和特有信息。图自编码器将图神经网络(Graph Neural Networks,GCN)思想与深度神经网络结构相结合,相较其他浅层模型可捕获节点间的高阶非线性结构信息。此外,RGAE模型设计了相似性损失和差异性损失两个正则函数分别约束一致信息和特有信息的提取和剥离,避免信息冗余。相似性损失、差异性损失与平衡优化的重构损失一起在反向传播学习过程中对模型参数进行优化。最终学习输出的各视图间一致嵌入和特有嵌入将共同表示异质边网络的结构信息以用于下游应用。
  实验结果表明,RGAE模型对异质边网络的向量表示学习效果优于现有方案,在不同数据集的节点分类和连接预测实验中都有较明显提升。同时,测试实验还证明了多视图协作的重要性与两个损失函数设计的合理性和必要性。
其他文献
深度学习训练过程中,训练数据的传输路径一般为从磁盘到DRAM,然后再到GPU内存。该路径的效率很大程度上受限于磁盘I/O的性能。非易失性随机访问内存(Non-volatile Random Access Memory , NVRAM )提供了一种新的解决思路。NVRAM容量大,读取速度快,但写入速度相对较慢,因而通常和DRAM组合成混合内存系统,以改善系统性能。然而,目前绝大多数深度学习系统尚未挖
学位
随着社会公共安全需求的不断增长,高清监控设备已经遍布城市的各个角落,人们的一言一行都以图像序列的形式保存下来,传统的基于人眼分辨的模式不论是在成本还是效率方面都显得力不从心。行人重识别(Re-ID)的任务就是解决跨摄像设备下的行人匹配问题,通常被认为是目标检索的子任务,主要是利用行人步态动作、身体特征等更为全面的信息来识别人物,基于深度学习的行人重识别算法已经是当下一个热门的研究方向。  对比学习
学位
在分布式深度学习训练中,梯度和参数的同步通常会带来巨大的网络通信开销。现有的通信优化方法主要包括通过量化或稀疏的方式进行梯度压缩和一些通信模式的优化。然而,现有的方法一般对所有层和所有网络采用同样的压缩方法,忽视了网络中不同层的不同特性及不同网络的差异性,导致优化效果不理想。  针对现有优化方法的不足,提出一种基于模型结构特性的混合通信优化方法——Hylo。采用两种不同的策略对两种不同类型的层(卷
信息时代飞速发展,给人们生活带来便利的同时也带来了信息过载。推荐系统作为一种重要的工具在各种在线平台上为消费者带来了极大的便利。神经网络和注意力机制在自然语言处理等序列任务上有着突出的表现,因此也被迅速应用到了推荐系统中。神经网络相关的推荐算法主要是通过多层感知机来获取用户的总体偏好,而注意力机制相关的方法则主要利用其能够获取序列重点的特性来实现用户序列推荐。这些方法在隐式反馈推荐上分别取得了很好
学位
信息化时代,人们可以接触到大量信息,但相应地也给人们选择感兴趣的信息带来巨大挑战。伴随着信息爆炸,推荐算法得到了学术界和工业界的广泛关注。现代推荐系统的两个核心:一是学习用户和项目的嵌入(即将用户和项目转换为矢量化表示),二是对交互建模,其基于嵌入重建历史交互。作为现代推荐系统的核心之一,研究更好的学习用户和项目的潜在嵌入表示的方法非常有意义。  为了更好的学习用户和项目的潜在特征表示,设计和实现
学位
无服务计算,又被称为“函数即服务”,是云计算领域正兴起的一个事件驱动服务模型。在无服务模型中,应用由被单独执行和管理的函数组成,由用户请求触发并动态执行。目前,云服务提供商普遍采用容器或虚拟机来执行这些函数,在无服务模型中的函数通常执行时间很短(毫秒级)的情况下,容器和虚拟机的启动用时给响应用户请求带来了较高的延迟。同时,不同函数间的通信基本上依靠网络设备和共享内存完成,导致了很高的性能开销。  
学位
基于语义的用户意图识别问题属于自然语言处理问题的范畴,其本质上为一个多分类问题。随着互联网发展,人机对话系统的发展也越来越迅速,需求越来越明确,近年来得到学术界和工业界的重视。而人机对话系统中用户意图识别是很重要的模块,其准确性的提高对于系统生成合理回答有重要的意义。  目前意图识别的大部分方法都是基于语义,通过分析文本内容然后应用深度学习算法得到多分类结果。比如使用循环神经网络、长短期记忆网络以
在当今信息大爆炸的时代,各式各样的信息令人目不暇接。这不可避免地导致信息过载,使得人们在检索自己感兴趣的信息时存在一定困难。因此个性化推荐系统的重要性不言而喻。现有的推荐算法大多数都基于协同过滤,而协同过滤算法的主要不足之处在于其难以应对数据稀疏性问题。此外,协同过滤算法仅利用用户与物品的交互信息进行建模,其所挖掘的隐式信息仍不够充分。大多数相关方法仅关注显式或隐式信息中的一种,导致推荐的准确度并
学位
混洗(Shuffle)是连接映射(Map)端和聚合(Reduce)端的桥梁。混洗服务的可靠性和性能直接影响到应用程序的执行效率。现有的混洗机制,在内存中聚合数据时,容易产生数据溢出,造成写放大。Reduce任务在拉取数据时,会产生大量小的,随机的I/O请求,I/O队列等待时间和磁盘寻道时间占据了整个磁盘服务时间的很大一部分开销。  D-Shuffle是为解决上述问题而设计的一种计算和存储分离的混洗
随着互联网的不断发展,人们在享受网络带来的便利的同时也深受信息过载的困扰。推荐系统能够有效地缓解信息过载问题,是当前研究的热点。协同过滤算法作为目前被普遍使用的推荐算法而备受关注。协同过滤算法基于喜欢相同物品的用户有类似的喜好的思想实现对用户的推荐。最近,随着深度学习的兴起,在推荐系统领域也出现了很多利用深度学习解决推荐问题的研究,其中就包含很多基于深度学习的协同过滤方法。这些方法大多使用深度神经
学位