【摘 要】
：
事件检测任务的目标是从文本中自动获取结构化的事件信息.目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度.相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度.BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力.因此,该文提出了一种基于BERT的多任务事件检测模型.该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知
【机 构】
：
苏州大学计算机科学与技术学院,江苏苏州215006
论文部分内容阅读
事件检测任务的目标是从文本中自动获取结构化的事件信息.目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度.相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度.BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力.因此,该文提出了一种基于BERT的多任务事件检测模型.该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力.实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F1值达到了76.7％.此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响.
其他文献
根据回转盘铸铁件的结构特征,通过数值模拟分析及优化,确定了分型面选于铸件的大平面处;浇铸位置选择大平面朝上,精度要求较高的燕尾导滑面朝下;内浇道设置于铸件长度方向一端的侧面底部和顶部表面处,采用阶梯浇注并结合倾斜浇注的方式进行浇注;在倾斜浇铸位置的最高处侧面设置明冒口,以利于集渣和出气;在大平面顶部较厚部位热节处设置冷铁以保证此处结晶质量;在主型芯里埋填管状芯骨利于排气和搬运的铸造工艺.生产表明本铸造工艺既保证了底部燕尾导滑面和顶部大平面的组织质量要求,大大地减小了后期加工工作量,还使造型简单,具有较高的
双语句子相似度旨在计算不同语言句子间的语义相似程度,在信息检索、平行语料库构建、机器翻译等领域有重要作用.由于汉语、老挝语平行语料稀少,且老挝语在语义表达、句子结构上与汉语有明显差异,导致汉老双语句子相似度研究的难度较大.该文提出了一种融合文本特征的汉老双语句子相似度计算方法,并构建了句子相似度模型.首先,在句子相似度模型中将汉语、老挝语的词性、数字共现等文本特征与GloVe预训练词向量融合,以此丰富句子特征,提升模型计算准确率.其次,由基于自注意力的双向长短时记忆网络组成多层孪生网络来提取长距离上下文特
话题的延续和转换是篇章中重要的语用功能.该文从句首话题共享的角度对话题延续和转换进行了分类,分为句首话题延续、句中子话题延续、完全话题转换、兼语话题转换、新支话题转换五种,进而对话题转换的特殊情况——新支话题展开研究.基于33万字的广义话题结构语料库,该文对新支话题的句法成分、语义角色进行了统计和分析.通过句法成分分析发现,宾语从句或补语从句主语、主谓谓语句小主语、状性成分起始句主语、句末宾语、连谓句非句末宾语、兼语句兼语、介词宾语甚至状语等都能成为新支话题,从而引出新支句,其中,句末宾语作为新支话题的情
关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要.该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取.为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型.该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息.该文分别在DocRED语料和自主扩展的ACE 2005语
回顾了中国普通炉衬冲天炉1958年至2008年之间的发展历程,包括土铁熔炼技术、前炉回气二次送风冲天炉、大型水冷冲天炉、冲天炉加料机、多宝冲天炉、曲线炉膛冲天炉、卡腰冲天炉、密筋炉胆冲天炉、中央送风冲天炉、两排大间距冲天炉、普通冲天炉的标准化等.本文对中国铸造工业史的研究者有一定参考价值.
本文以转K6型转向架摇枕为研究对象,通过超声波探伤检测、射线检测、解剖等检测手段找到摇枕内部密实度易出缺陷部位,对工艺进行了分析和选择,提高了摇枕内部密实度质量.
本文以某型号压缩机盖板铸件的铸造工艺改进为例,介绍了压缩机盖板类产品的一种铸造工艺设计思路和方法.针对铸件缩松问题,通过调整铸件浇注方向,修改浇冒系统,同时采用Magma软件对新工艺进行模拟验证,缩松问题得到有效解决,使此类铸件加工后的废品率从40.5％降低到8.3％.
阿里巴巴集团以面向海量商品数据智能化理解为目标,针对“千亿级商品知识图谱的构建及产业化应用”开展全方面、系统化的研究工作.通过在知识图谱技术上的创新与落地,完成面向千亿商品数据的图谱构建以及服务建设.在此期间,该项目提出了“低资源知识图谱构建技术”、“可微可解释知识推理技术”及“大规模高噪音文本训练数据下的知识获取技术”三个主要的知识图谱核心技术,形成了一套领先的知识理解、知识抽取、知识服务的技术体系.
实体关系抽取是信息抽取领域的重要研究内容,对知识库的自动构建起着至关重要的作用.针对非结构化文本实体关系抽取存在上下文环境信息难以准确表征,致使现有抽取模型准确率不能满足实际应用需求的问题,该文提出了一种新型的实体关系抽取模型BiGRU-Att-PCNN.该模型是基于混合神经网络,首先,构建双向门控循环单元(BiGRU)以更好地获取文本序列中的上下文语序的相关信息;然后,采用注意力(Attention)机制来达到自动关注对关系影响力高的序列特征的目的;最后,通过采用分段卷积神经网络(PCNN),从调整后的
电解箱壳体铝合金零件是电动汽车的一项重要尝试,针对此电解箱壳体铝合金的压铸成型,应用数值模拟方法模拟铝合金液体流动充型状态,确定铸件的浇注系统与排气系统.同时在试模与试生产阶段,从浇注系统、产品结构、模具冷却、工艺等方面分析不同缺陷产生的原因,提出改善措施并且实施验证.结果表明,开发产品要多关注产品结构和模具结构,针对不合理的结构要进行优化改进,才能保正优良的产品质量.