基于有序对比学习的零样本事件检测技术

来源 :华东师范大学 | 被引量 : 1次 | 上传用户:sdgvf43g43g3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
事件检测是自然语言处理中的经典任务之一,也是事件抽取与构建知识图谱的关键步骤。利用大量标注样本训练基于深度学习技术的语言模型,然后对非结构化文本按照预定义的事件类型分类,是完成事件检测的传统思路。然而面对互联网中日益增长的非结构化文本内容,大量未被发现的新事件类型层出不穷,为这些未知事件标注样本的工作将消耗大量的人力物力。因此,零样本事件检测任务被提出,旨在使模型自动发现并归类新的事件类型,而不依赖任何标注样本。零样本事件检测的难点主要体现在两个方面:缺少未知事件的标注数据以及类型定义。缺少标注数据意味着传统的监督学习模型无法针对未知事件进行训练,导致模型在未知类型上的泛化能力大大降低。缺少类型定义导致模型无法通过语义相似度完成触发词的识别,进一步阻碍了模型学习到更精确的事件类型特征。为了应对这些挑战,本文提出了一套端到端的基于有序对比学习的零样本事件检测技术,包括如下三个部分:首先,为了解决缺少未知事件标注数据的问题,本文结合零样本事件检测的应用场景,提出了基于多样本有序对比学习的事件特征提取算法。其运用多种数据增强方法,构造了数个对比样本。针对这些对比样本与原样本间的语义与类型相似度的偏序关系,设计了有序对比损失函数。通过检查该队列中样本在语言模型隐空间中的距离,有序对比学习损失函数能够帮助语言模型充分学习同一事件类型内样本之间的共同特征,同时区别不同事件类型的样本。其次,为了充分利用已知事件的标注信息,本文设计了基于原型网络的半监督事件类型预测算法。在实践运用中,除没有样本标注的新事件类型外,还有部分已知事件类型的样本是已经完成样本标注的。基于原型网络的半监督算法在特征空间中定义不同类型的原型,并为已知类型和未知类型样本分别计算不同的损失函数,能够充分利用已知事件类型的监督信号,帮助预训练的语言模型适应事件检测的下游任务,从而显著提升模型对已知事件与未知事件检测的准确率。再次,为了解决缺少未知事件类型定义的问题,本文将基于提示模板的预测技术引入零样本事件检测模型。通过预设的留空模板,将触发词的预测任务转化为预训练语言模型的单词预测任务,从而消除了对预定义事件类型、外部词性分析工具以及预置触发词表的依赖,大大降低了人工参与度与模型的累积误差。上述三个算法作为有机整体,在统一的问题定义与模型框架下,层层递进地解决零样本事件检测中缺少标注样本与类型定义的两大难点,实现了模型效果的逐步提升。最后,本文通过实验验证,所提出的方法能够在两个英文事件检测数据集ACE2005与Few Shot ED上取得优于现有方法的结果。在保证已知类型识别能力的同时,对未知类型的零样本事件检测的F1分数分别提升了30.8%与33.2%。
其他文献
深度强化学习是一种极具前景的技术,可用于解决现实场景中的各种复杂控制问题。然而,强化学习系统具有的三个特性使得验证工作变得十分困难,其中这三个特性分别是:(1)系统通常具有连续的状态空间;(2)系统的状态转移方程一般是非线性的;(3)部署在系统中的深度神经网络是不可解释的。因此,在缺乏有效的验证方法来确保可靠性的前提下,强化学习在安全攸关领域中的应用受到了一定的限制。为了缓解该现状,本文提出了一种
学位
长久以来,序列推荐一直是推荐系统领域的研究热点。大多数序列推荐模型仅关注用户行为序列的顺序建模,忽略了有效利用序列中的时间信息、深入挖掘其中蕴含的语义知识,因此推荐性能受到制约。时间信息建模对于序列推荐意义深远。一方面,用户交互行为的时间戳包含丰富语义,各类待利用的时间信息对于理解用户真实意图进而实现精准推荐十分关键;另一方面,时间信息具有容易获取的独特优势,序列推荐能够利用时间信息有效缓解数据稀
学位
强化学习是目前机器学习领域的热门方向,在游戏博弈,推荐系统等领域都有许多成功应用。强化学习通过与环境进行大量的交互获得反馈进行学习,根据与环境交互的行为策略与学习到的目标策略是否相同可分为on-policy和offpolicy方法,而后者是提高强化学习的样本利用效率的重要方法。本文研究off-policy强化学习算法如何根据行为策略收集的样本数据集学习一个新的具有良好表现性能的目标策略的问题。在以
学位
近年来,移动互联网的发展带来了诸多基于群组通信的应用,如在线会议,社交网络等,为人类日常生活及工作提供了极大的便利。群组通信安全也日益受到人类社会的关注,成为了当下研究的一个热点问题。利用群密钥管理技术可以实现群组间安全通信信道的建立。由于应用场景的复杂多变性,群密钥管理技术也亟临诸多挑战。本文主要讨论了群密钥管理技术在移动自组织网络、分布式在线社交网络两个场景中的应用。移动自组织网络、分布式在线
学位
伴随着互联网的快速普及与发展,全球上网人数不断增加,数据的生成量级也迎来爆炸性的增长,如何充分利用好海量的数据为人们提供智能化的信息服务一直以来都是计算机从业者所追求的目标。然而海量无结构的数据所提供的信息量是有限的或者说对于下游应用任务来说是不方便处理的,因此从无结构化的数据之中抽取出结构化的知识这一需求也日益迫切。关系抽取正是解决这一需求的重要任务,从纵向发展来看关系抽取是自然语言处理(信息抽
学位
G蛋白参与的信号转导途径是真核生物体内高度保守的信号通路,参与调控生物体内多种重要的生命活动。目前对于G蛋白的研究大多集中在动物中,植物中这一重要的信号通路的研究相对较少。水稻体内的异源三聚体G蛋白参与水稻体内多种重要的生物学功能,是水稻粒形调控的重要信号通路之一。已有的研究表明水稻异源三聚体G蛋白的三个典型亚基Gα(RGA1)、Gβ(RGB1)、Gγ(GS3和DEP1)均参与水稻体内的信号转导途
学位
高端民营医疗作为社会医疗体系的重要补充,有效填补了部分患者追求效率、舒适环境、人性化关怀、定制化服务流程等的需求空白。高端民营医疗的性质决定了其市场化特性和公司化治理模式。因此,管理者目标是通过建立高度信任的关系,来“拥有”客户,从而实现客户的终生价值,这就要求管理者需要不断改进经营管理模式来增加患者忠诚度。因此,本研究探讨影响高端民营医院患者品牌态度忠诚的因素和影响机制。本文首先对现有感知风险、
学位
微生物极广泛地分布在地球上,微生物不仅仅在自然界中,同时也在人类生产活动中扮演着极其重要的角色,然而我们目前为止所认识的微生物仅仅为其中很小一部分。分离培养及多相分类学鉴定自然环境中的各种微生物,可以丰富微生物资源库,对实际应用有很重要的意义。这对实际应用有很重要的意义。功能性微生态系统作为一种分解剂具有很高的效率,有助于解决环境问题。如果我们能够准确地理解微生物的价值,并根据需要使用它们,我们就
学位
随着区块链2.0平台的出现,智能合约成为了区块链的核心,区块链系统需要管理供智能合约访问的状态数据。这使得区块链系统的每个节点完整保留一份数据副本的全复制存储方式受到了巨大的挑战,尤其在吞吐率较高的许可链场景中这一问题显得尤为重要。近来,也有研究人员对离线区块数据采用拜占庭容错的分片存储来缓解这一问题。而状态数据,由于受到防篡改数据结构的约束,很难直接分片存储。本文主要解决区块链系统中的状态分片问
学位
用户行为序列是按时间排列的用户行为数据,反映了用户随时间变化的偏好特征。序列推荐系统通过序列化地建模用户的行为序列学习用户不断进化的兴趣,关注的核心问题是:(1)如何为用户精准提供感兴趣的商品,(2)在怎样的适宜时间点推荐。对于第一个精准推荐的问题,图神经网络模型由于能够建模序列中复杂的转移关系,在序列推荐领域具有很好的表现。但是此类方法面临两个挑战,首先是将序列转为图时,物品的顺序信息缺失;其次
学位