基于共享输入的文本匹配范式文本摘要生成技术研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:jtfcyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着社会进入大数据时代,文本摘要生成任务愈发受到研究人员的关注,其目标是针对篇幅较长的文本生成能够简洁准确反应原意的短文本摘要。当前的文本摘要生成方法分为两类:抽取式摘要生成方法和生成式摘要生成方法。前者为从原文本中抽取部分片段,组合构成摘要。后者为直接根据原文生成摘要,可出现原文中未有的词汇。本文研究针对的是文本匹配范式的抽取式摘要生成方法。现有的相关方法使用预训练语言模型分别抽取文档、候选摘要和参考摘要的语义特征,再以文本匹配的思路,使得不同评级的候选摘要与文档的语义相似度保持排序关系。然而,该方法由于对各个候选摘要独立建模,当候选摘要较多时,面临显存消耗高的问题;当候选摘要较少时,可能最优的候选摘要不被包含在内,从而降低了数据集的分数上限,进而影响模型效果。针对上述问题,本文提出了一种基于共享输入的文本匹配范式抽取式摘要生成模型SMS。对于显存消耗高的问题,SMS模型在使用预训练语言模型抽取文档和候选摘要的语义特征时,采用共享文档和候选摘要输入序列的方式,仅在文档输入序列中添加代表候选摘要的特殊符,并设计与之匹配的自注意力掩码矩阵,实现文档和候选摘要语义特征的同时抽取,而不再需要对候选摘要独立建模抽取语义特征,从而降低模型显存消耗。对于数据集得分上限低的问题,SMS模型在共享输入后可以低成本的扩张候选摘要数量,提高数据集分数上限。然而在共享输入后,又引入了候选摘要的位置编码不连续问题,对此SMS模型在预训练语言模型自注意力层添加基于共享输入形式的相对位置编码,以统一文档和候选摘要的位置编码为连续位置编码,使得文档和候选摘要的语义特征处于同一个语义空间,利于语义相似度的计算,从而提高模型效果。在CNN/Daily Mail数据集上的实验结果表明,相比于最新的文本匹配范式模型,SMS模型在扩大候选摘要数量后取得了同一水平的摘要生成效果,同时只需要64.1%的推理显存消耗并实现了2.18倍的推理加速;在使用相同数量候选摘要时,模型取得略低的结果,但只需61.2%的显存消耗实现2.86倍推理加速。本文还以SMS模型为基础搭建了文本摘要生成原型系统,测试表明,该系统能满足用户对文本摘要生成的需求。
其他文献
深度歧义一直是阻碍3D人体姿态估计实际应用的重要挑战。随着神经网络的引入,3D姿态估计的性能长足发展,对上下文提取方法的改进则是研究热点之一。但是,目前仍存在以下问题影响深度歧义的缓解效果:其一,主流研究将二维视觉任务的上下文提取方法迁移到3D姿态估计,但人体的纹理边缘等显著特征与关键点深度的联系较弱,3D姿态估计对噪声更敏感;其二,姿态多样性要求上下文提取方法具备强大的姿态迁移性能,研究者针对性
学位
近些年,为了满足医疗健康检测及人机界面互动的需求,柔性导电聚合物材料受到了人们的广泛关注。随着科技的快速发展,柔性导电聚合物材料已经拓展应用到各种领域,例如可穿戴柔性传感器、电子皮肤、软机器人等。其中柔性传感器可以被用来检测与收集人体的各种生理信号,拥有广阔的应用前景。传统柔性传感器尽管表现出良好的导电性,但它们往往缺乏可调节的机械性、可加工性、生物相容性。导电水凝胶材料可以弥补上述缺点,并且应用
学位
共轭聚合物作为一类具有优良光电特性的高分子材料,主要用于光电领域,近年来发展迅速。目前,具有优良特性的光电共轭聚合物其分子设计及器件的制备过程已被广泛探究,然而针对其溶液行为及薄膜凝聚态结构的研究因受限于研究方法却鲜见报道,但是其溶液行为由于在内部因素或者外界因素诱导调控下产生的溶液行为变化却对后期器件制备具有重大影响。从其溶液到薄膜的动力学过程中,共轭聚合物分子链要经历从单链到聚集的缓慢自组装过
学位
凝血机制是人体维持正常生理活动的重要机制,凝血和抗凝血的动态平衡保证了人体的血液循环及止血。癌症是目前严重威胁人类生命健康的重大挑战之一,癌症会破坏正常的凝血功能,癌症患者需同时面临出血和癌栓的共同风险。凝血酶在凝血和抗凝血过程发挥着十分重要的作用。凝血酶适配体是调控凝血酶凝血活性的有效物质。但要满足其在癌症患者治疗方面的需求还需要解决智能响应等问题。针对此问题及癌细胞微环境的特点,我们设计制备了
学位
近年来,工业界与学术界涌现出各式各样的知识图谱。这些侧重于不同领域、基于不同数据库的知识图谱之间存在着大量的共同实体。为了寻找这些共同实体以实现知识图谱之间的知识融合,实体对齐任务应运而生。知识图谱表示学习的出现为实体对齐提供了新的解决方案。然而,现有的大多数基于知识图谱表示学习的实体对齐方法在利用实体邻域信息建模中心实体时,不但没有考虑邻域信息中关系多语义的影响,而且没有剔除掉对实体对齐无用的邻
学位
知识图谱以结构化的方式描述客观事实,可以帮助人们更有效地获取、管理和使用互联网中的复杂数据信息,具有广泛的应用价值。知识图谱推理旨在根据知识图谱中已有的知识推理出知识图谱中缺失的部分,可以帮助丰富、完善知识图谱,具有重要的研究意义。现有的时序知识图谱的知识推理方法主要使用知识表示学习方法将实体和关系映射为低维向量来提取邻域特征信息,然后使用循环神经网络学习时序特征信息,根据这些信息对未来的事件进行
学位
随着时代的发展和人类社会的进步,各种便携,可穿戴,可监测的柔性传感器纷纷涌入人们的视野之中,已成为生活中不可或缺的一部分,传感器的制备和改善成为科学家们研究的热点。传统的以碳基材料,导电聚合物或者金属材料为导电基质构建的水凝胶传感器通常面临着一些问题,比如,碳基材料固有的疏水性和较差的溶解性,导电聚合物的较强的刚性和差稳定性,金属材料的工作电压较高且价格昂贵,这些导电材料的缺点限制了其在传感器领域
学位
近年来,随着人工智能和自然语言处理技术的发展,机器阅读理解技术受到广泛的关注。这项技术赋予了计算机理解文章的能力,从而辅助用户快速得到问题答案。然而,现实中的文本含有大量的数值词符,该类数值文本难以被直接建模。与非数值词符相比,数值词符还包含数值离散信息,例如数值之间包含大小等偏序关系、数值之间可以进行四则运算等。如何对数值离散信息进行建模还未被深入研究。本文在机器阅读理解原有的研究成果上,针对数
学位
电控荧光是指通过电化学刺激,使材料发生氧化还原反应,进而对材料的荧光性质如开关、颜色等进行可逆的调控的一种行为。电控荧光材料具有颜色变化鲜艳、安全可控、能耗低等一系列优点,在显示、传感、防伪等领域具有广阔的应用前景。然而,目前设计报道的电控荧光材料大多存在荧光对比度低、驱动电压高、转变速度慢、稳定性差等不足,限制了其进一步发展。因此,探索合成具有良好电控荧光性能的新型材料具有重要意义。三苯胺结构具
学位
随着科学技术的发展,纳米材料已被广泛应用于催化、传感、医疗等众多领域。由于其特殊尺寸,它具有不同于常规大尺寸材料的特殊性能。例如,表面效应、小尺寸效应、量子尺寸、宏观量子隧穿效应等,赋予其独特的光学、磁性、电化学性能。基于其优异的光学成像性质,良好的生物相容性,小尺寸容易被细胞内吞的特点,纳米材料在疾病成像与治疗方面的应用受到越来越广泛的关注。通过对纳米粒子表面功能化与疾病特异性靶点结合,实现疾病
学位