【摘 要】
:
自然语言推理作为自然语言理解的关键任务之一,非常注重文本中深层次的语义特征以及句间上下文中存在的语义联系。自然语言推理中的文本蕴含任务,便是要根据给出的前提和假设来识别出句子对之间存在的蕴含关系,这是一种广泛存在于文本之间的基本语义关系。近些年,自然语言推理领域的大量研究工作以基于Transformer的预训练语言模型为基础,结合多任务学习、引入外部知识等方法,旨在进一步提升模型在自然语言推理任务
论文部分内容阅读
自然语言推理作为自然语言理解的关键任务之一,非常注重文本中深层次的语义特征以及句间上下文中存在的语义联系。自然语言推理中的文本蕴含任务,便是要根据给出的前提和假设来识别出句子对之间存在的蕴含关系,这是一种广泛存在于文本之间的基本语义关系。近些年,自然语言推理领域的大量研究工作以基于Transformer的预训练语言模型为基础,结合多任务学习、引入外部知识等方法,旨在进一步提升模型在自然语言推理任务中的表现,然而现有的研究仍存在着一些不足之处:(1)传统的自然语言推理模型无法充分学习到单词的上下文表示,从而影响模型的最终推理效果。(2)现有的预训练语言模型仅采用自注意力模块建立句子对中词间关联,并将句首特殊符号的上下文嵌入向量作为句向量进行最终推理,这种方式缺乏足够地句间交互,从而无法充分学习并提取句间中包含的局部推理信息。(3)现有的多头自注意力机制虽然能够在训练时学习到不同维度的特征信息,但平等地对待这些维度的特征信息,也会带来一定的噪声,从而影响模型的推理效果。针对以上问题,本文提出了一种基于门控交互推理网络的自然语言推理模型GIIN(Gated Interactive Inference Network)。GIIN将预训练语言模型最终输出的上下文嵌入向量进行拆分,并将拆分后得到的前提向量和假设向量输入到一个门控交互推理网络中进行充分交互,从而提取局部推理信息,最后通过推理层进行最终推理。针对预训练语言模型缺乏足够句间交互的问题,GIIN提出了一个门控交互推理网络,该网络利用多种注意力模块进行语义特征提取,并通过门控单元选择关键的局部推理特征。针对现有多头注意力存在的噪声问题,本文提出了一个加权多头注意力模块,该模块对不同的注意力头赋予不同的权重,并将多头注意力信息进行加权融合,从而削弱无关特征的影响。实验结果表明,GIIN能有效提升预训练语言模型在自然语言推理任务中的表现,在SNLI和Sci Tail数据集上分别实现了92.7%和96.4%的准确率,其中在SNLI数据集上的效果达到了当前最优,而Sci Tail数据集上的结果也和多个多任务学习模型十分接近。
其他文献
多变量时间序列广泛存在于不同的领域,如医学、金融和多媒体等等。多变量时间序列分类是多变量时间序列数据挖掘领域中一个活跃的研究问题。近年来,该问题引发了广泛的关注,并且应用于不同的领域。现有的多变量时间序列分类方法可以分为基于距离,基于特征和基于模型的方法。尽管这些方法可以取得一定的效果,它们并没有很有效地建模多变量时间序列的时序动态性。如何高效地建模时间序列的时序动态信息,仍然是一个具有挑战性的问
视觉问答(VQA)任务要求机器自动对关于给定图片的问题做出恰当的回答,需要模型对图像和问题都进行细粒度的语义理解,然后通过视觉推理来预测准确的答案,是一项非常有挑战性的任务。其研究成果可以被应用于跨模态检索,人机交互等场景,有着广阔的应用前景,因此该任务也逐渐成为学术界的研究热点。目前经过几年的发展,视觉问答领域已经有了长足的进步,但是在通用数据集VQA v2.0上的测试结果仍有较大提升空间,如何
随着互联网平台的发展和社交媒体(如Flickr,Twitter)的广泛使用,多模态的在线新闻数据(如文本、图像类型)的数量正在急剧增加。事件检测任务旨在从互联网平台上发现真实世界的新闻事件(如体育赛事、灾难和选举活动,社会活动等)并分类。过往的研究大多数集中于同域的事件检测任务,但是随着社交媒体的兴起,多域的事件检测任务也有了新的发展。多域事件检测任务旨在从多域、多模态数据源中发现真实世界事件。目
近年来,人们广泛地开发纳米材料并对其表面进行改性、修饰,从而改善其本身的物理性质(如溶解度、稳定性等),靶向某些组织甚至特定细胞器以实现被动和主动靶向、提高生物相容性和降低毒性等。然而在临床上,即便纳米药物的毒性有所降低,但由于肿瘤异质性导致单一疗法产生耐药性,在很大程度上不能显著提高化学治疗的效果。为此,人们采用联合治疗的方法解决肿瘤异质性和耐药性等问题。在联合治疗中使用多种化疗药物已成为常规化
金属–有机骨架化合物(Metal–organic frameworks,简称MOFs),是一类新兴的晶态多孔材料,因其丰富的结构、可修饰的功能性、超高的孔隙率以及良好的稳定性而受到科研工作者的广泛关注,这些特性使MOFs材料在气体吸附与分离、催化、化学传感等领域表现出良好的应用前景。随着工业的高速发展,工业废水的污染问题日益严重。废水中含有的Fe3+、Cr2O72-和硝基化合物等污染物,不仅对环境
MOFs材料是以金属为连接中心和有机配体为连接体构筑的多孔有机骨架晶态材料,其凭借多样的构筑方式、丰富的光电磁性质及在物质检测、发光元件以及生物医学等领域的潜在应用吸引了科学工作者的目光。镧系金属具有优异的光学性能,但是由于其受到禁阻跃迁的影响,对光吸收能力较弱。在各种有机连接体中,具有苯环结构的羧酸配体能够有效地吸收光,因此通过敏化发光可以获得优异的发光性能。本文采用[1,1’-联苯]-3,4’
点云是三维数据的表示形式之一,相比于其它的三维格式(如三维网格、体素和距离场等),点云保留了最原始的几何和空间信息,是对被扫描物体最精确的表达。点云是空间中物体表面采样点的集合,本身并没有固定的结构形式,具有无序性、稀疏性,这对点云的分析和研究提出了挑战。真实世界中的点云数据通常是从Li DAR传感器或者是深度相机中获取的,以这种方式获取的点云通常是稀疏、不完整、非均匀且带有噪音的。如果直接把采样
随着聚合物、纺织、精炼厂、皮革和塑料等化学工业的快速发展,染料污染已经成为现代社会面临的一个日益严峻的问题。这些未经处理的染料废水一旦被排放到水源中,必定会带来许多环境问题,严重威胁人类、动物和植物的健康和生命。在处理染料废水的方法中,吸附法由于成本低、操作简单、对环境影响小,是应用最为广泛的方法。然而,在实际应用中,大多数吸附剂存在吸附容量小、长期稳定性差、可回收性不理想等缺点。基于此,我们以具
相比于普通的锂电池,锂硫电池具有很多优势:能量密度大、原料成本低、环境友好等,因此被研究人员认为是在未来可以大范围应用的新型储能电池。但在锂硫电池正式商业化应用之前,还有几座大山需要去解决,包括硫导电性低导致的利用率低、循环性能较差、倍率性能差等。尽管科学界已经做了大量的努力来尝试解决上述问题,但是到如今这些问题依然没有得到真正的解决。本论文概述了锂硫研究的部分最新进展,着重介绍了通过加入功能化隔
金属卤化物钙钛矿具有一些独特的光电性质,如可以调节的禁带能量,短的寿命,高的量子效率等,成为具有重大应用潜力的前沿材料,吸引了来自不同领域科学家的关注,并且所开展的研究已经取得了许多重要进展。但是铅卤钙钛矿的稳定性差且铅有毒性,这使得此种材料无法满足社会发展的需求。因此,获得高稳定性的无铅新型钙钛矿发光材料对于未来高技术的应用非常重要,也成为目前一项具有挑战性的前沿课题。基于Cu(I)的三元金属卤