基于注意力机制的知识图谱嵌入表示对抗学习算法的研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:kftgb1221
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,越来越多的应用以图的形式表示数据,其中知识图谱(Knowledge Graph,KGs)以其结构化的特点受到了广泛的关注。知识图谱是真实世界信息的结构化表示,能够以机器可读的方式对复杂的数据建模,并且包含了丰富的知识,因此被应用于问答系统、金融、教育等多种行业领域中。然而知识图谱通常是庞大且稀疏的,并且通常是不完备的。另外潜在的三元组符号性质使得它在下游任务中难以被操作,为了解决这些问题,知识图谱嵌入表示学习(Knowledge Graph Embedding,KGE)被提出并得到了迅速的发展。知识图谱嵌入表示学习旨在学习知识图谱的分布式表示,用低维稠密的向量表示实体和关系,能够在维持知识图谱固有结构的同时简化操作。目前已提出了大量的KGE模型,其中基于深度学习的KGE模型利用深度网络结构很大程度上提高了嵌入的表达能力,但是它们强调对实体的学习,却对关系的嵌入学习相对简单;并且它们只利用三元组事实,忽略了多步路径中蕴含的丰富推理信息;另外复杂的网络结构容易发生过拟合问题,导致它们在真实数据集上的泛化能力较差。为了获取高质量且更具鲁棒性的嵌入表示,本文提出了基于注意力的知识图谱嵌入表示对抗学习算法,主要工作如下:(1)针对以往模型无法充分利用知识图谱中的潜在信息,以及对关系学习比较简单的问题,提出基于关系路径与双层注意力的知识图谱嵌入表示学习模型(Hierarchical Attention with Relation Paths for Knowledge Graph Embedding,HAPKE)。HAPKE构建了双层注意力编码器,在深度学习的基础上结合关系路径辅助模型学习嵌入。首先在三元组级别,HAPKE利用注意力机制学习三元组及邻域上的信息;然后在路径级别,根据关系与对应路径的语义相似性筛选路径,并在三元组级别关系嵌入的基础上建模路径用于更新关系嵌入,利用路径中蕴含的丰富信息深入地学习了关系。之后将学得的嵌入表示输入到解码器中,进一步地提取了三元组及路径上的隐含特征,并且很好地维持了三元组的平移特性。最后在FB15K、FB15K-237、WN18RR、Kinship四个通用知识图谱上执行链路预测任务,并在UMLS数据集上进行案例分析验证了HAPKE模型的有效性。(2)针对复杂的网络结构容易发生过拟合并且导致模型具有较差鲁棒性的问题,进一步提出基于生成对抗网络的知识图谱嵌入表示学习模型(Generative Adversarial network based Knowledge Graph Embedding,GAKGE)。对抗训练可以有效增强模型的鲁棒性,因此GAKGE引入生成对抗网络作为对抗训练组件,实质上可以看作是模型的正则化项。通过对抗训练约束嵌入表示学习的过程,同时建模了数据的不确定性,有效地缓解了过拟合问题,并且提升了模型的泛化能力,使得学到的嵌入表示更具鲁棒性。最后在四个基准数据集上进行链路预测实验,以及一系列参数敏感度分析及消融实验来验证GAKGE模型的有效性。
其他文献
【教学案情】苏教版小学语文第七册的练习2中有一条训练题,要求学生介绍自己的家庭住址和走法的示例,说说家乡一些地名的由来。学生们傻了眼,一阵交头接耳后就剩下了沉默。见此情形,我试着叫了几个基础较好的学生回答。第一个学生
期刊
为实现精密清洗领域的部件在加工过程中高质量的洗净且节约洗净成本,制备了一种实用型多功能高效环保切水清洗剂。研究与分析结果表明,该清洗剂可在2s内高效快速与部件表面、盲孔、夹缝、迭片间隙内的水溶性污垢、颗粒物及干涩研磨粉等置换并迅速清洗脱除,同时实现油溶性污垢洗净,净洗力高达99.5%以上;并具有较好的耐污能力,超长的使用寿命,是一般清洗产品的3~10倍;可蒸馏再生重复使用,有效节约成本。
为保障绿色建筑工程在我国的顺利推广,促进整个建筑行业的良性发展,本文主要通过阐明其重要发展意义,并通过梳理绿色建筑工程管理在我国的现状,提出相应的几点解决措施,希望能促进绿色建筑工程管理方法的提升。
随着人们对艾灸认识的逐渐加深,艾灸逐渐成为人们现代养生保健的选择。人工艾灸耗时耗力,有着很大的局限性,因此出现了很多灸疗仪器。现代科技的进步加速了灸疗仪器的发展,然而当前相关灸疗仪器质量参差不齐,不仅不能够保证疗效,还会带来相关安全隐患,也不能实现艾灸过程的全自动化。因此本文设计了一款能够复现传统人工艾灸的智能艾灸机器人。首先,针对当前灸疗仪器研究现状的总结分析及社会的实际需求,给出了艾灸机器人的
本文介绍了以粟蓬为原料制活性炭的重要意义。通过实验研究炭化和活化工艺条件,评价了产品吸附性能。栗蓬原料丰富,制活性炭工艺简单,能耗低,成本低,所得产品某些性能接近或优于当前市售活性炭。具有工业生产实际意义。(粟蓬就是板栗的外壳)。
期刊
随着社会经济的发展,近些年来电力需求不断增长,光伏和风电等新能源接入电网也给电网的频率稳定性带来了巨大挑战。传统的电力系统调频主要是由发电侧完成的,但随着大量新能源的接入仅仅依靠发电侧资源进行调频难以有效应对大量新能源并网后的供需平衡问题,电网需要其他调频方式来弥补传统调控方法的不足。动态需求响应(Dynamic Demand Response,DDR)作为一种需求侧资源,其种类多样且调频容量充足
研究背景:乙型肝炎病毒(HBV)感染是我国目前严重的公共卫生问题,患者可从急性感染发展至慢性感染,肝硬化甚至肝癌。目前主要采用以核苷类似物(NAs)为主的抗病毒药物治疗,但是无法彻底清除病毒并且停药后容易复发。HBV抗原特异性CD8+T细胞介导的细胞免疫应答在机体清除病毒的过程中起到关键作用,病毒感染的靶细胞通过HLA-A,B,C等HLA I类分子递呈HBV抗原肽被CD8+T细胞识别,后者分化为C
随着高速、高分辨率数字图像技术的快速发展,数字图像相关(DIC)测量技术已经在结构三维动态变形测量中得到很好的应用。但由于空间分辨率的增加和采集帧率的提高,使得需要传输和存储的数据量也大大增加。尤其是采用多相机网络进行大型结构的动态变形测量时,有限的存储空间往往会制约实验的时长,不能满足破坏性实验的要求。同时,随着DIC技术与现代计算机技术的结合,分布式高速DIC方案将是未来的研究重点,庞大的数据