基于依存树的注意力引导图LSTM关系抽取

来源 :吉林大学 | 被引量 : 0次 | 上传用户:MaoZeDongNiMaBi2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网时代的到来,大数据技术应运而生,这标志着我们迈入了一个无处无时都要接收信息的时代。然而如何从中获取出有用的信息,将这些半结构化或非结构化的数据转化为机器可以理解、学习以及储存的结构化数据显得十分重要。关系抽取的核心思想就是对句子文本中给定的实体对间的关系进行分类,因此在自然语言处理领域起着不可忽视的作用。处理关系抽取任务的研究方向之一就是利用依存树中所包含的丰富的结构信息。事实证明,这些信息对于关系抽取非常有用。然而,如何在有效利用依存树中句法关系的同时又可以忽略其中无用的信息依然是一个充满挑战的问题。现有的方法大多是利用预先定义好的剪枝策略来有选择地保留部分依存结构,但事实上这种基于规则的硬修剪策略很大程度得降低对依存树的信息使用率,并不能总是产生最佳效果。因此,我们提出了基于注意力引导的图LSTM网络模型(AGGLSTM),这是一个将完整的依存树结构输入到神经网络的新颖模型。本文的模型在处理依存树时是利用了多头自注意力机制将原始依存树转化成完全连通的边加权图,这相当于是一种软剪枝策略,使得模型在挖掘依存树中的有效信息的同时过滤掉无用的信息。基于图的LSTM神经网络将输入向量转化为文档图,整合所有句子内和句子间的依存关系,可以自动学习如何有选择地关注对关系抽取任务有用的相关子结构,并且在不会丢失信息的情况下可以并行地对句子中的每个单词进行建模和学习,在消息传递的过程中循环地丰富单词的状态值。每经过一轮状态转换,单词都会把信息传递给与自身有依存关系或者直接相连的单词。在多轮状态转换步骤后,每个单词都能捕获到更多的上下文信息。本文的模型在同时结合依存树中局部与非局部的依存特征后,进一步抽取关键信息;最后,将关键信息输入到分类器后可以得到关系类别标签。现有对关系抽取任务的研究大多集中在单个句子的2元关系,虽然取得了足够优秀的成果,但单个句子有时无法提供丰富的歧义语境,导致在一些例如生物医药等高价值领域的表现不够出色。因此本文的主要研究对象主要是对包含多个句子的实例进行跨句子2元或是多元关系抽取。实验表明,本文的模型在跨句子n元关系抽取任务中能够更好地利用依存树中的结构信息,取得更好的分类效果。并且我们的模型在干扰项诸多的情况下,比如减少句子长度、减少最大邻居数这些情况下,也有着比其他模型更好的表现结果。
其他文献
目的:探讨QRS终末段扭曲(QRS distortion,也称Grade 3 ischemia,G3I)、额面QRST角(frontal QRS-T angle,fQRS-T角)对于急性ST段抬高型心肌梗死患者近远期预后的预测价值,找出fQRS-T角预测患者12个月及42个月内全因死亡的临界值,并比较这两项指标单独应用和联合应用时对预测价值的影响。方法:1.回顾性收集2017年1月1日至2017年
传统汽车生产线机械化线体采用最原始的悬挂式积放链输送形式,汽车吊具停止依靠撞击实现,造成吊具和轨道不可避免地出现晃动。同时生产线经历了因车型并入的多次改造,整体钢结构改动量较大,承载能力降低。如何在原生产线上实现车型改造及产能提升,缩短研发周期,降低研发成本,提高设计质量是当前车企的研究热点之一。有限元计算分析及结构优化是实现其关键结构(C型吊具)安全性和可靠性的有效手段。本文采用建模软件和编程语
在城市智能计算中,基于定位轨迹数据(GPS)和兴趣点数据(Points of Interests,POI)的城市功能区域划分,可以为城市道路规划、智能交通调度和基于位置的社区服务等多个方面提供有效支撑。然而,受限于城市区域的连通性、兴趣点分布的聚集性以及轨迹与区域功能之间的弱相关性,现有研究通常仅能实现行政区域级别的粗粒度划分,难以满足城市计算的需要。本文在城市计算背景下,针对城市功能区域划分这一
许多视障人士会像视力正常的人一样在日常生活中使用计算机来查询资料、阅读和书写电子文档以及收发电子邮件。对于视障用户来说,在使用计算机的过程中想要获取所需信息,这难免会遇到一些困难,使用感官替代的方式可以有效解决这些难题。其中应用最广泛的就是屏幕阅读器,因为它价格低廉且使用简单。屏幕阅读器的使用,解决了视障用户信息获取中遇到的诸多困难。对于一些非文本信息,开发者们大多使用附带相应文本描述信息的方式将
近年来,随着空气、环境质量的不断下降,以及人们在日常饮食中不能控制对亚硝基化合物的摄入,脑肿瘤成为威胁人们健康的常见肿瘤之一。随着医学影像的发展,作为影像技术之一的核磁共振成像(MRI)在肿瘤诊断过程中发挥着巨大的作用。然而,医生对图像的判断大都是根据主观经验,不同医生对图像判断也是略有出入,且在图像判别上浪费大量的精力,耽误患者的及时诊断。图像分割作为当前计算机视觉领域的一大研究热点,在脑肿瘤图
背景及目的:淋巴瘤是起源于淋巴结和淋巴组织的恶性肿瘤,分为霍奇金淋巴瘤(Hodgkin lymphom,HL)和非霍奇金淋巴瘤(non-Hodgkin lymphom,NHL)两大类。根据2016版WHO分型,NHL有170多种亚型,其中最常见的亚型是弥漫性大B细胞淋巴瘤(diffuse large B-cell lymphoma,DLBCL),占全部NHL30%-35%。目前DLBCL一线治疗为
目的:探讨有氧运动对帕金森病临床症状的作用及其可能机制的研究。方法:选取就诊于吉林大学第一临床医院神经内科帕金森专病门诊的原发性帕金森病患者15例,保持原有抗帕金森药物剂量恒定不变,进行为期4周(每周3次,每次1小时)的有氧健身车运动。在基线、运动过程中、运动结束后及2周后随访各时间点采用量表评估运动和非运动功能,应用经颅多普勒超声观察脑血流自动调节功能变化,采用乳酸氧化酶法检测外周血乳酸水平。结
水稻作为一种全球最重要的粮食作物之一,其产量影响着全球人民的生活温饱甚至于全球的经济稳定。而稻瘟菌作为模式真菌,不仅严重影响水稻产量,还侵染其它重要的禾谷类作物,对确保全球粮食安全构成威胁。当前,稻瘟菌侵染机制中还存在一些关键问题尚未解决。由于传统生物实验或者计算方法只能鉴定互作过程中某一层次的相关标志物,很难展示真菌-植物互作全貌以及不同组学标志物间的内在联系,因此本文从多个组学数据入手,联合多
随着逆强化学习的快速发展,并得益于深度学习强大的表达能力,深度逆强化学习的应用场景越来越广泛。然而,逆强化学习的成功依赖高质量的专家演示,但专家无法在复杂的多代理场景中保证演示的质量。在演示次优的情况下,逆强化学习缺少还原高效奖励函数的方法,极大地限制了算法的应用场景。此外,强化学习通常利用团队奖励训练协作策略,导致代理会混淆队友产生的团队奖励,此种情况下,基于策略梯度的强化学习算法缺少高效的应对