【摘 要】
:
近年来,知识型回复选择任务引起了很多研究人员的关注,其目标是根据给定的对话上下文和背景知识,从候选回复集合中选择最适合的回复,与用户进行自然而有意义的交流。随着深度学习技术的发展,当前针对知识型检索式对话系统的研究取得了一定的进展,但仍存在一些不足:(1)当前许多研究基于预训练词嵌入或预训练模型蕴含的通用语言知识对文本建模,未能有效利用知识型对话语料的语言知识;(2)采用串联编码的Cross-en
论文部分内容阅读
近年来,知识型回复选择任务引起了很多研究人员的关注,其目标是根据给定的对话上下文和背景知识,从候选回复集合中选择最适合的回复,与用户进行自然而有意义的交流。随着深度学习技术的发展,当前针对知识型检索式对话系统的研究取得了一定的进展,但仍存在一些不足:(1)当前许多研究基于预训练词嵌入或预训练模型蕴含的通用语言知识对文本建模,未能有效利用知识型对话语料的语言知识;(2)采用串联编码的Cross-encoder架构模型由于输入序列长度限制而无法完整刻画长对话和长背景知识;(3)采用分离编码的Bi-encoder架构模型割裂了对话和背景知识之间的关联特征;(4)当前研究只利用每轮对话中后者话语作为对前者话语的真实回复构建正训练样本,而忽略了前者话语是对前一轮对话的真实回复,未能充分利用双方语料训练模型。针对上述问题,本文提出一种基于交叉注意力的知识型检索式对话系统模型KCN(Knowledge-grounded Cross-attention Network)。首先,针对已有模型不能有效利用任务语料语言知识的问题,本文提出一个使用任务语料对预训练模型BERT进行后训练的知识适应性训练方法,包括掩码语言模型任务和一致性检测任务,旨在通过BERT学习知识型对话语料的语义知识,以及对话和背景知识之间的一致性和关联特征。然后,针对Cross-encoder模型无法对完整的对话和背景知识长序列进行串联编码的问题,KCN通过BERT以分离编码方式对对话和背景知识文本进行完整建模。接着,针对Bi-encoder模型的分离编码方式割裂了对话和背景知识之间关联信息的问题,KCN基于交叉注意力构建交互层和匹配层以重构关联信息。在交互层中构建对话上下文和背景知识的关联特征,并分别聚合到原表征中以增强表征;在匹配层中分别构建候选回复与对话上下文、背景知识之间的匹配特征,聚合得到最终的表征向量以计算匹配分数。最后,针对当前研究只利用一方话语作为回复构建训练数据的问题,本文提出一种将对话双方话语都作为真实回复,构建更丰富的训练数据的数据增强方法,缓解小规模任务语料库对模型性能提升的限制。实验结果表明,KCN有效提升了知识型检索式对话系统的准确率,在Persona-Chat Original、Persona-Chat Revised和CMUDo G数据集的R20@1指标都取得了当前最好的效果,分别为86.2%、81.4%和84.7%。
其他文献
随着互联网平台的发展和社交媒体(如Flickr,Twitter)的广泛使用,多模态的在线新闻数据(如文本、图像类型)的数量正在急剧增加。事件检测任务旨在从互联网平台上发现真实世界的新闻事件(如体育赛事、灾难和选举活动,社会活动等)并分类。过往的研究大多数集中于同域的事件检测任务,但是随着社交媒体的兴起,多域的事件检测任务也有了新的发展。多域事件检测任务旨在从多域、多模态数据源中发现真实世界事件。目
近年来,人们广泛地开发纳米材料并对其表面进行改性、修饰,从而改善其本身的物理性质(如溶解度、稳定性等),靶向某些组织甚至特定细胞器以实现被动和主动靶向、提高生物相容性和降低毒性等。然而在临床上,即便纳米药物的毒性有所降低,但由于肿瘤异质性导致单一疗法产生耐药性,在很大程度上不能显著提高化学治疗的效果。为此,人们采用联合治疗的方法解决肿瘤异质性和耐药性等问题。在联合治疗中使用多种化疗药物已成为常规化
金属–有机骨架化合物(Metal–organic frameworks,简称MOFs),是一类新兴的晶态多孔材料,因其丰富的结构、可修饰的功能性、超高的孔隙率以及良好的稳定性而受到科研工作者的广泛关注,这些特性使MOFs材料在气体吸附与分离、催化、化学传感等领域表现出良好的应用前景。随着工业的高速发展,工业废水的污染问题日益严重。废水中含有的Fe3+、Cr2O72-和硝基化合物等污染物,不仅对环境
MOFs材料是以金属为连接中心和有机配体为连接体构筑的多孔有机骨架晶态材料,其凭借多样的构筑方式、丰富的光电磁性质及在物质检测、发光元件以及生物医学等领域的潜在应用吸引了科学工作者的目光。镧系金属具有优异的光学性能,但是由于其受到禁阻跃迁的影响,对光吸收能力较弱。在各种有机连接体中,具有苯环结构的羧酸配体能够有效地吸收光,因此通过敏化发光可以获得优异的发光性能。本文采用[1,1’-联苯]-3,4’
点云是三维数据的表示形式之一,相比于其它的三维格式(如三维网格、体素和距离场等),点云保留了最原始的几何和空间信息,是对被扫描物体最精确的表达。点云是空间中物体表面采样点的集合,本身并没有固定的结构形式,具有无序性、稀疏性,这对点云的分析和研究提出了挑战。真实世界中的点云数据通常是从Li DAR传感器或者是深度相机中获取的,以这种方式获取的点云通常是稀疏、不完整、非均匀且带有噪音的。如果直接把采样
随着聚合物、纺织、精炼厂、皮革和塑料等化学工业的快速发展,染料污染已经成为现代社会面临的一个日益严峻的问题。这些未经处理的染料废水一旦被排放到水源中,必定会带来许多环境问题,严重威胁人类、动物和植物的健康和生命。在处理染料废水的方法中,吸附法由于成本低、操作简单、对环境影响小,是应用最为广泛的方法。然而,在实际应用中,大多数吸附剂存在吸附容量小、长期稳定性差、可回收性不理想等缺点。基于此,我们以具
相比于普通的锂电池,锂硫电池具有很多优势:能量密度大、原料成本低、环境友好等,因此被研究人员认为是在未来可以大范围应用的新型储能电池。但在锂硫电池正式商业化应用之前,还有几座大山需要去解决,包括硫导电性低导致的利用率低、循环性能较差、倍率性能差等。尽管科学界已经做了大量的努力来尝试解决上述问题,但是到如今这些问题依然没有得到真正的解决。本论文概述了锂硫研究的部分最新进展,着重介绍了通过加入功能化隔
金属卤化物钙钛矿具有一些独特的光电性质,如可以调节的禁带能量,短的寿命,高的量子效率等,成为具有重大应用潜力的前沿材料,吸引了来自不同领域科学家的关注,并且所开展的研究已经取得了许多重要进展。但是铅卤钙钛矿的稳定性差且铅有毒性,这使得此种材料无法满足社会发展的需求。因此,获得高稳定性的无铅新型钙钛矿发光材料对于未来高技术的应用非常重要,也成为目前一项具有挑战性的前沿课题。基于Cu(I)的三元金属卤
自然语言推理作为自然语言理解的关键任务之一,非常注重文本中深层次的语义特征以及句间上下文中存在的语义联系。自然语言推理中的文本蕴含任务,便是要根据给出的前提和假设来识别出句子对之间存在的蕴含关系,这是一种广泛存在于文本之间的基本语义关系。近些年,自然语言推理领域的大量研究工作以基于Transformer的预训练语言模型为基础,结合多任务学习、引入外部知识等方法,旨在进一步提升模型在自然语言推理任务
随着现代科技与经济的不断发展,智能化已成为当今社会进步的一大趋势,智能材料的设计与应用是实现智能化的重要组成部分。热致变色材料作为一种具有独特颜色变化的智能响应材料,在航空航天、军事、智能窗、建筑涂料、食品包装、防伪、温度传感器等领域具有广阔的应用前景。近年来,被报道的热致变色材料主要是有机化合物,但由于其仅限于低温环境中,应用范围较窄,且对生物体有副作用。相比之下,无机热致变色材料具有良好的耐温