【摘 要】
:
自动摘要作为自然语言处理方向的研究课题之一,因其可以实现自动提取文章主要信息组成摘要,节约读者阅读成本而成为研究热点。但传统的抽取式自动摘要方法产生的摘要,语义不连贯、可读性差等问题,一直困扰着研究人员,也为自动摘要的真正普及带来巨大挑战。近五年来,随着深度学习的快速发展,生成式自动摘要方法开始逐渐受到重视,为解决自动摘要课题提供了新的思路。本文从当前生成式自动摘要方法中常用的基本模型——基于注意
论文部分内容阅读
自动摘要作为自然语言处理方向的研究课题之一,因其可以实现自动提取文章主要信息组成摘要,节约读者阅读成本而成为研究热点。但传统的抽取式自动摘要方法产生的摘要,语义不连贯、可读性差等问题,一直困扰着研究人员,也为自动摘要的真正普及带来巨大挑战。近五年来,随着深度学习的快速发展,生成式自动摘要方法开始逐渐受到重视,为解决自动摘要课题提供了新的思路。本文从当前生成式自动摘要方法中常用的基本模型——基于注意力机制的Sequence-to-Sequence模型入手,详细介绍了基本模型的主要框架——编码-解码器框架的主要结构,以及注意力机制的主要原理,同时给出了常用的训练和评价语料数据集和评价方法。我们通过对基本模型进行实验,发现基本模型存在的若干问题,包括:Out-Of-Vocabulary单词引起的摘要细节错误、注意力机制引起的摘要短语重复、循环神经网络模型引起的训练效率低。针对基本模型出现的问题,我们从原理出发,对基本模型进行一定的改进:1)通过引入指针网络的复制机制,并将其与基本模型的生成机制相结合,共同指导摘要的生成,有效提高了摘要细节的准确率;2)通过引入覆盖率向量,对注意力机制进行二次利用,使摘要的重复短语大大降低;3)针对循环神经网络模型训练效率低的问题,我们也给出了用卷积神经网络代替基本模型中的循环神经网络,从而实现并行计算的思路。我们对优化模型进行训练和评价,通过对生成摘要的质量进行效果对比和定量分析,可以看出我们的优化模型无论从实际效果还是评价指标上都优于基本模型,基本解决了摘要细节错误和短语重复的问题,证明了优化模型的有效性。
其他文献
为满足不断增长的用户流量需求,小蜂窝网络作为5G蜂窝网络架构中的关键技术之一,成为目前5G通信研究的热点。然而,小蜂窝网络通常部署在用户比较密集的城区,无线信号在传输过程中,受地形地势、城市绿色植物和建筑物、气候的影响,在不同的传播方向上会经历不同的信号衰减,使得无线小蜂窝网络的覆盖边界变得不规则,这为5G小蜂窝网络的覆盖概率和平均速率等性能分析带来了挑战。已有文献证明,实际的小蜂窝网络的覆盖边界
随着数据流量与网络规模的不断扩张,传统网络结构在处理各种网络事件的能力上面临巨大的挑战。相反,SDN(Software-Defined Network),即软件定义网络,通过将控制层与数据转发层解耦合,从而提升网络的控制管理能力与对网络事件的响应能力。网络事件可大致分为内部事件与外部事件,前者通常为控制层对网络的自发调整,如主动修改路由规则等;而后者通常以网络故障等方式呈现,如节点或链路断开等,这
双足机器人的研究一直处于国内外机器人研究领域的热点之中,同其它类型机器人相比,双足机器人具有直立行走、自由度高、动作灵活等优势。但由于双足机器人自身结构设计的局限性,其步态稳定性差,对外界环境敏感度高,尤其在外部大扰动作用下,双足机器人系统稳定性迅速变差,极易发生摔倒。因此,如何在外部大扰动作用下,保持其良好的稳定快速恢复能力是目前双足机器人研究领域亟需解决的关键问题。针对双足机器人在大扰动下难以
目的:探讨醌氧化还原酶1(NQO1)基因mRNA和蛋白在甲基苯丙胺(METH)依赖人群的病理生理作用,NQO1 609 C/T(rs1800566)多态性等位基因和基因型与METH依赖者相关性及其影响因素,分析NQO1609C/T基因型是否影响NQO1基因的转录和翻译水平变化,为METH依赖的预防和治疗提供分子生物学依据。方法:收集392例中国汉族METH依赖者(实验组)和669例中国汉族无MET
冲突控制反映了信息加工过程中,人类如何提取任务相关信息,抑制任务无关信息的过程。比例一致效应(Proportion congruency effect,PC效应)是冲突控制研究的一个重要方向。PC效应是指在组块中,不一致试次占总试次的比例越大,冲突效应量越小,反映了不同任务背景对认知控制策略的影响。PC效应是研究冲突控制领域性的良好指标,如果一种冲突任务的PC效应可以改变另一种冲突任务的冲突效应,
目标跟踪一直都是计算机视觉领域中热点研究的问题之一,其目的是基于当前时刻已知的目标位置预测目标的后续运动轨迹。而在实际场景中,因为目标自身的变化,背景信息干扰以及遮挡等因素,跟踪器会因为不恰当的模型更新策略将背景噪声引入到跟踪器模板当中,这会大大削弱跟踪器的识别能力以及对噪声的抗干扰能力,导致出现模板漂移现象,最终跟踪失败。本文主要针对遮挡环境下跟踪结果的置信度判别、模型更新策略以及跟踪再检测等方
现如今我们的生活与网络息息相关,网络在给人们的生活带来巨大便捷的同时也存在着安全隐患。人们为了消除这些隐患,便提出了网络入侵检测技术。尤其近十几年机器学习、神经网络的空前发展也推动了网络入侵检测技术的蓬勃发展。网络入侵检测技术是指为了防止网络被入侵,从而对网络的状态做实时检测的技术,它是一种主动进行防御的技术,它的存在不会影响到网络的正常运行,如果说防火墙是防止网络入侵的一道关卡,那么网络入侵检测
项目反应理论(Item Response Theory,IRT)的提出,弥补了经典测量理论(Classical Test Theory,CTT)的种种缺点。参数估计是项目反应理论研究的核心问题之一,项目反应理论的发展很大程度上得益于参数估计方法的发展。但是在心理测量实践中,常常会遇到作答矩阵中出现缺失值的情况,给参数估计带来了困扰,这时需要我们采取一些补救措施来尽可能减少缺失数据对参数估计结果的影
随着工业自动化技术的进步发展,机械工件人工去毛刺方法已经难以满足日常生产的需要,如何快速便捷的解决实际生产过程中机械工件毛刺去除的工作成为了人们的研究焦点。目前较为普遍的做法是在工业机器人基础上进行二次开发,但是由于工业机器人其价格较为昂贵且开发难度大,大多数生产商难以负担,使得我国自动化去毛刺技术水平相对较低。因此,研究一种新的自动化去毛刺技术,使其代替工业机器人二次开发的方法,对满足我们目前的
东西方艺术观念上的差异,导致彼此绘画构图取法不同。中国人物画长卷作为一种独特的绘画形式,空间表现更自由,艺术表达更有厚度,能够产生空阔而深远的空间意象。其虚实留白的处理方法和流动性的空间表达方式,影响了我在个人绘画创作中对空间的理解与表现。此文将通过分析陈洪绶作品的空间表现,探究中国人物画长卷空间表现的特点及价值,并总结出其对当下中国人物画创作的启示。首先,中国人物画长卷与西方人物题材绘画和其它形