改进的Seq2Seq文本摘要生成方法

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:yangyupengmei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网在迅速发展使得生活变得信息化的同时也带来了很多问题,信息过载问题是当前亟待解决的核心问题之一,对互联网上的海量信息进行降维处理变得越来越有必要,而文本摘要技术便是解决该问题的重要途径之一。深度学习的发展推动了以神经网络方法为主导的文本摘要技术进步,然而当前已有的研究表明传统神经网络在文本较长的情况下会由于依赖过长导致信息丢失,无法对长文本序列进行有效地编码表示。当前主流的文本摘要方法都是基于序列到序列结构的神经网络模型,利用循环神经网络的长距离依赖特性对输入文本进行上下文语义编码。上下文语义编码一般仅仅包含文本的序列化信息,无法反映文本的结构信息,前后文联系信息无法被编码器完全学习。为了充分利用文本的上下文结构信息,本文对上下文结构信息进行了一系列研究,旨在结合文本结构信息得到准确且通顺的文本摘要。在序列到序列文本摘要模型的基础上,本文对其做出了一系列改进,将文本的结构信息作为考虑的重要因素之一,按照对结构信息利用方式的不同,经过实验研究验证,提出了两种不同的改进的序列到序列文本摘要生成模型。首先,本文提出了一种融合文本语义结构的注意力文本摘要模型,在模型编码器输入信息中融入文本的句法结构信息,使摘要生成模型得到的上下文向量信息在包含文本语义信息的同时融入了句法结构信息,将融入了句法结构信息的上下文向量提供给编码器来生成文本摘要。在ROUGE指标上的实验结果表明,该改进的序列到序列文本摘要模型性能有了一定的提升。其次,本文对长文本的篇章结构层次信息进行编码,将文本的全局结构信息进行表示,并融入到输入文本的上下文语义信息中,同时,利用变分自编码网络的判断推理能力刻写文本的潜在风格结构信息。在上下文信息中包含全局结构信息以及上下文依赖信息,编码器则根据潜在风格特征生成具有固定相似结构的文本摘要。实验结果表明,该方法在ROUGE评价指标上有了明显提高,同时通过分析示例摘要文本,说明了本文中提出的基于文本结构与潜在特征的文本摘要模型能够有效学习到文本的全局结构信息和潜在风格特征信息,对文本摘要的准确性提升有明显作用。
其他文献
随着工业智能化的不断推进和换向器产能需求的不断提高,过去非常低效率的人工检测传统方法和存在各种局限性的传统数字特征处理检测方法将逐步退出工业缺陷检测界的主要舞台。近些年来,卷积神经网络经过长足的发展,分类、检测、分割的各个领域上都有了突破性进展。越来越多的神经网络框架被应用到各类物品的表面缺陷检测任务中。应用在表面缺陷检测的目标检测框架常常可以划分为一阶检测器和二阶检测器。二阶检测器中经典的网络框
由于在划分无标签且含有缺失实例的多视图数据上具备优势,不完整多视图聚类吸引了越来越多的研究关注。虽然已取得很大进展,大多现有不完整多视图聚类方法仍存在至少一个以下缺陷:(1)无法同时开发数据样本之间跨视图的共同关系及原始数据特征表示的互补多视图信息;(2)忽略视图之间高阶的相互关系;(3)只能处理诸如只有两个视图等特殊视图不完整情况。针对这些问题,本文主要开展了以下两方面研究:(1)为了同时挖掘数
互联网给用户带来丰富资源和便捷服务的同时,因其开放性和匿名性,也成为网络攻击的平台。在众多网络安全问题中,恶意网页扮演重要角色。如何实现对恶意网页的精准快速识别,已经成为一项迫切且具有挑战性的工作。目前,识别方法大致分为四类:基于黑名单技术的检测手段、基于启发式规则的检测方法、基于机器学习的检测方法以及基于蜜罐技术的检测手段。但已有方法都有各自的局限性,必须面向恶意网页检测手段进行更深层分析与探讨
随着信息技术的不断发展,网络安全问题层出不穷,网络攻击的方式也变得复杂多样。入侵检测系统具有主动防御的功能,能够对网络流量进行持续监控,提升了系统的安全性。近年来,随着机器学习技术的普及和计算力的大幅提升,大量基于机器学习的技术被应用于网络入侵检测领域,相较于传统的网络安全防御手段,更能适用于当今网络攻击复杂多样化的环境。但在大量的网络数据中入侵行为只占少数,数据分布不均衡,而且原始网络流量存在大
随着大数据时代的到来,图像数据的采集变得越来越简便与多样化。在现实应用场景中,由于采集设备、拍摄角度、目标物遮挡等外部条件是动态变化的,因此采集到的图像数据即使表示的是同一类目标,数据分布也几乎都是不一致的。大多数现有的机器学习算法是基于训练数据和测试数据分布相同的假设进行训练和测试,并不适用于处理在复杂的现实环境采集到的图像数据。作为迁移学习方法的具体应用,交叉领域识别可以有效解决上述问题。交叉
我国通信业正逐步加强网络建设,积极推进网络强国战略,为了落实提速降费,研究网络运维中基站维护是具有重大意义的。截止2019年底,国内部署的通信基站总数量已经超过800万,电信业务收入超过1.31万亿元。本文在分析国内外大量相关文献的基础上,着重展开网络运维中基站维护领域的“现场作业综合调度”优化问题的研究,希望可以提高通信基站的运营维护效率,降低通信基站的维护成本,从而降低通讯资费。通过分析基站维
比特币作为虚拟货币被人们所重视,而区块链作为比特币的底层技术被受到大量人员的关注和研究,凭借数据安全透明、防篡改、点对点传输、去中心化、可溯源等特点,区块链的应用开始层出不穷。区块链的本质也是一种分布式数据库,分布式数据库首先要解决的是多节点如何保证一致性和如何达成共识等问题。共识机制是区块链的灵魂,也是目前的研究热点之一,针对区块链项目应用场景和算法的性能要求的不同,接连出现了众多的共识机制,区
2020年由于新冠疫情的影响,人们避免面对面接触式的购物,这使得自动蔬菜机、自动饮料机等等自动无人售货机更加受到市场青睐。自动售货机市场也迎来了发展的又一次高峰。传统自动售货系统在支付方式、对售货机的状态监控方式等等方面已经落后,对于自动售货机的补货频率和区域补货人员配比问题已经成为行业的难点,该问题直接影响了商家的盈利能力,为解决该问题有必要建立销售量预测模型,根据该模型预测结果提前设计补货频率
在现实系统中,因为受部件影响,执行器总是伴随着死区特性。在生产过程中,执行器的参数也随着工作条件和环境的变化而变化。另外,参数随时间的变化会导致控制系统失衡,严重限制了系统的性能。再者,许多研究并没有考虑实际系统的切换特性。主要原因如下:在切换系统中,有许多不同的切换规则。在一定的保守条件下,没有统一的切换规则来稳定系统,使得系统的稳定性分析非常复杂。其次,由于执行器死区参数的跳变,系统的稳定性不
胼胝体是连接左右脑对应部位的最大纤维束丛,使得大脑在功能上成为一个整体。对于通过电子计算机断层扫描(Computed Tomography,CT)技术重建得到的CT图像,以及通过常规核磁共振成像(Magnetic Resonance Imaging,MRI)技术获取到的MR图像,直接在图像中分割仅能得到胼胝体的大概形状,无法利用分割信息进行胼胝体相关病理分析或实验研究,且难以重建胼胝体中的细微纤维