【摘 要】
：
在知识图谱构建、任务型对话机器人等自然语言综合应用任务中,作为信息抽取子任务的实体识别和关系抽取起着十分重要的作用,也是许多其他下游自然语言处理任务的基础环节,因此探究提升实体识别和关系抽取模型性能的方法,对于改善自然语言处理领域的上层任务也有着极大地促进作用。此外,由于联合学习模式能够改善流水线模式存在冗余信息和误差累积的缺陷,所以本文分别从句子级别和文档级别来研究基于联合学习模式的实体识别与关
论文部分内容阅读
在知识图谱构建、任务型对话机器人等自然语言综合应用任务中,作为信息抽取子任务的实体识别和关系抽取起着十分重要的作用,也是许多其他下游自然语言处理任务的基础环节,因此探究提升实体识别和关系抽取模型性能的方法,对于改善自然语言处理领域的上层任务也有着极大地促进作用。此外,由于联合学习模式能够改善流水线模式存在冗余信息和误差累积的缺陷,所以本文分别从句子级别和文档级别来研究基于联合学习模式的实体识别与关系抽取模型,目的在于提升实体识别与关系抽取任务的性能。1、针对单个编码器不足以捕获同一空间中两个关联任务所需信息的缺陷。本文提出了一种融合双编码器模型和最小风险训练算法的句子级别实体与关系联合学习模型,其中双编码器模型通过使用序列编码器和表格编码器来获取实体标签和关系标签,并且序列编码器使用表格引导的注意力来学习表格编码器的工作,而表格编码器的核心是利用多向多维循环神经网络来获取多维度和多方向的信息。此外,本文还在双编码器模型的基础上引入最小风险训练算法来构建一个能让实体模块和关系模块一起进行反向传播的全局损失函数,以此来加强实体模块和关系模块之间的联系。最后在四个句子级别数据集ACE04、ACE05、Co NLL04和ADE上实验得出,本文提出的句子级别模型在基线模型Two-Encoders的基础上分别提升了3.8%、3.3%、1.8%和2.3%的F1值,证实了全局损失函数有助于优化联合学习模型参数的更新,以及双编码器模型在实体与关系抽取任务上的优势。2、针对目前大多数文档级别的实体与关系联合学习模型存在输出结果冗余的问题。本文提出了一种从文档中提取实体以及实体级别关系的联合学习模型NJEREx,该模型采用完全可微的高阶推理结构来迭代更新跨度表示,这种高阶共指消解模型可以改善基线共指消解模型容易预测出局部一致但全局不一致实体簇的缺陷,而粗略因子的引入则用于缓解高阶结构导致的矩阵计算量大幅增加。此外,NJEREx模型的关系分类模块通过多示例学习结合全局实体信息和局部提及信息的多级表示来收集关系特征,并且输出实体级别关系。最后在文档级别数据集Doc RED上实验得出,NJEREx模型在基线模型JEREX的基础上提升了3.0%的F1值,验证了高阶共指消解对于提升模型性能的有效性,以及结合全局实体与局部提及的多级表示在关系分类模块中的优势。
其他文献
实现高质量发展是基于我国经济社会发展过程中存在的环境污染和资源浪费等现实问题而作出的重大判断,体现了最高决策者的决心和信心。党的十九大报告提出要转变经济增长方式、优化经济结构、转换增长动力,以此提高绿色全要素生产率（GTFP）。与此同时,互联网正在经历快速发展阶段,传统产业日益表现出与互联网的深度融合,依靠互联网成长起来的新业态、新模式也焕发出强劲的“生命力”。那么,作为现代经济发展中不可或缺的中
技术创新是推动我国经济转型,促进我国经济高质量发展的重要驱动力。当前,互联网在转变人们生活方式的同时,更多的是对传统生产服务的改造,推动着新技术、新产业和新业态的涌现,驱动着以创新为核心的新型经济模式。为此,我国中央工作提出了以5G、人工智能、工业互联网以及物联网为核心的新型基础设施建设（“新基建”）,旨在加速推进数字化、智能化技术的应用与发展,满足我国发展高质量经济的需要。因此,在大力推进“新基
深度学习作为一种具有多层神经结构的神经网络学习方法在当今科技领域已成为热门的研究分支,并在工程应用领域得到大量推广应用。然而,因结构复杂性、模型训练效率低下、易陷入局部最优、泛化能力弱、资源消耗大、梯度爆炸现象严重等,导致深度学习模型在应用中受到极大限制。如何借助生物视脑神经系统的结构及功能特性,建立结构简单、训练速度快、问题求解质量高的新型深度神经网络,是深度学习分支中迫切需要解决的重要科技问题
果蝇是一种对运动目标的变化极为敏感的昆虫,其视觉系统能实时感知运动目标的运动行为,此独特的视觉响应特性为计算机视觉提供了新的生物理论基础。将果蝇的视觉信息处理机制与群智能优化中的种群进化思想结合,可建立介于计算机视觉与进化计算之间的视觉进化神经网络模型与算法,此将成为智能计算中具有潜在价值的研究分支。基于此,借助果蝇的视觉神经生理学理论与物种进化机制,探讨求解含不等式或等式约束的单目标优化问题和有
随着知识化、信息化经济的全面到来,市场竞争日益加剧。为了应对当前的复杂形势,企业应该进一步挖掘人才潜力来打造持续性的竞争优势。从现实来看,员工身上的自我领导力是管理实践中值得关注的话题。当前诸多研究关注了员工自我领导力的积极效应,但鲜有研究探讨其驱动因素,以及高绩效工作系统感知是如何对个体自我领导力产生作用的。作为重要的人力资源管理手段,高绩效工作系统在组织管理中运用广泛。以往研究指出了高绩效工作
当前外部环境复杂多变,充满不确定性,组织只有创新才能不断前进,持久发展。学者们普遍认为,创新可以分为两类,一类是与开发新技术、知识和市场相关的探索性创新,另一类是与优化现有技术、知识和市场相关的利用性创新,二者并称双元创新。员工是企业双元创新的实施主体,尤其是具备高教育水平、强知识储备、高效率等特点的知识型员工,已经成为企业创新的生力军。但当前学者们更多地关注组织双元创新前因变量,较少涉及组织双元
中国的工业化和城市化在改革开放的四十年里实现了快速飞跃,但生态环境保护和经济高速增长之间的矛盾也随之逐渐加剧,粗放式经济增长使得环境污染愈发恶劣,雾霾、酸雨、泥土流失等人为造成的环境问题严重影响了人民群众的生活质量和社会经济持续发展。转变经济增长方式,坚持生态优先,着力推进绿色可持续发展是实现我国经济高质量发展的主要任务。为此,本文主要以环境规制对城市绿色全要素生产率的影响为中心展开理论分析和实证
随着5G移动通信的发展,用户追求更好的上网体验,对网络业务的多样化需求逐渐增长,在万物互联互通的时代趋势下,制式繁多的异构网络中终端用户数呈指数上升。人们对高速度、低时延数据传输的急切需求和频谱资源稀缺之间的矛盾日益显著,单一固定的频谱分配方式不仅是对频谱资源的不合理利用、造成资源浪费,而且极大的降低了用户的通信服务质量。Device-to-Device（D2D）通信技术指D2D终端用户通信无需基
随着现代社会高新技术产业的快速发展,人工智能技术的兴起带动了智能移动机器人、自动驾驶领域应用的飞速增长,具有自主移动能力的机器人已逐渐走进人们的生活,如自动驾驶、智能物流搬运、智能服务等。对于移动机器人来说,实现智能化、自主化移动导航和路径规划的能力是关键,基于视觉的同时定位与建图（visual Simultaneous Localization and Mapping,vSLAM）则是实现在未知
随着我国对环境问题的日益关注,社会对各类企业提出的环保要求越来越高,企业在追求经济效益的同时,不得不兼顾提升环保绩效的重任。而企业的环保绩效离不开员工的参与,如何提高员工参与企业绿色活动的积极性,进而激发员工在工作场所中的绿色行为,这不仅是一个重要的实践问题,也是一个值得探讨的学术课题。领导风格会影响员工的态度和行为,但并不是所有的领导风格都会产生积极影响。道德型领导是一种具有道德意识,以人为本,