基于观点挖掘主题模型的多文档自动文摘技术研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:fengeryqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术发展变化的脚步日益加快,互联网应用已经同社会生活的方方面面密不可分,而随之而来的信息爆炸情况也出现在各个领域。在互联网不断发展更新的同时,如何从海量数据中准确而快速的获取到人们所需要的信息,成为一项亟待解决而又具有挑战的任务。多文档自动文摘技术是一种能够从大量数据中快速提取有用信息的工具,在面向海量文本数据的处理工作中具有较高实用价值。本文首先分析了国内外自动文摘系统的研究现状,针对现有自动文摘系统中常用的主题模型进行了分析和理解,通过探讨现有模型的缺陷和不足,本文提出了将观点挖掘的方法引入到主题模型的构建中,通过抽取文本中代表观点信息的二元词对组合,对文档的中潜在的主题信息与之进行关联并建模,并以此模型为基础设计了更高效的多文档自动文摘系统,在系统中提出对主题的重要度的计算方法,对句子的权重计算进行了融合多重文本特征的细致定义,并对文摘抽取工作中的冗余控制技术加以改进。本文的主要研究工作由以下三部分组成:(1)通过对观点挖掘技术的分析和研究,探讨了观点信息与文档主题之间的潜在联系,以传统LDA模型的思想为基础,将观点信息引入到对文档主题的建模过程中。首先对文档中的句子进行依存关系的句法分析,进而提取文本中代表观点实体与其对应观点内容所构成的观点信息词对,继而通过将文档的建立抽象为围绕着观点信息展开的文字生成过程,设计了并构建了融合观点信息的主题模型——观点主题模型OTM(Opinion Topic Model)。(2)在多文档自动文摘的任务中,采用观点主题模型OTM对文档的主题进行更准确的提取,并融合多种文本特征对句子重要度进行更细致的设定,其中包括主题的重要度、词语的重要度、线索词、位置信息等特征,同时在文摘句抽取的工作中,提出了基于语义相似度的冗余控制方法,进而构建了信息覆盖率更高、内容冗余度更低的的多文档自动文摘系统。(3)针对本文提出的观点主题模型以及多文档自动文摘方法,在京东评论数据集与DUC2007数据集上分别设计并进行了实验,通过实验证明了本文构建的观点主题模型能够通过模拟文本生成的过程,更好的对文档隐含的主题进行建模,相比传统方法本文构建的主题模型具有更小的困惑度,模型所获取主题连贯性;基于观点主题模型的多文档自动文摘系统,能够生成主题覆盖性较高、信息冗余性低的高质量文本摘要。
其他文献
核心素养是适应个人终身发展和社会发展所需要的"必备"品格与"关键"能力。科学学科创新能力、批判性思维、信息素养、自主学习、语言表达、学科整合、解决问题等核心素养可以
<正> 《现代汉语词典》将“书评”释义为“评论或介绍书刊的文章”,界定相当宽泛,也就由得咱们钻空子:评论过甚其词,毕竟也是在“评论”;介绍不得要领,到底还是“介绍”。这
一般而言,满足工程要求最关键的参数是挖掘机的挖掘深度,而影响挖掘机性能的主要因素包括工作质量、发动机和液压系统性能、挖掘能力、行驶和回转性能等几个方面。用户在选择
肖特基二极管是利用肖特基势垒特性的电子元件,是一种低功耗、超高速半导体器件,广泛应用于变频器、开关电源、电机驱动器等电路,可以作续流二极管、保护二极管、高频、低压、大电流整流二极管使用,或者在通信等电路中作小信号检波二极管、整流二极管使用。肖特基二极管常用于500μm以内的简单SMA、SOD123FL、SOD323FL等小尺寸大功率的产品封装。SOD123FL是在SOD123基础上得到发展的新封装
目的探究脑脊液白介素-6(interleukin-6,IL-6)、肿瘤坏死因子-α(tumor necrosis factor-α,TNF-α)及C反应蛋白(C-reactive protein,CRP)表达水平在血管性认知功能障碍(vasc
AP1000是先进的第三代非能动压水堆核电站技术,具有系统复杂及接口单位众多、施工量大、建设周期长、风险因素多、组织机构庞大、管理协调十分复杂等特点,对于施工阶段更是有
本文为图画书视觉化叙事的专项分析,从视觉传达的角度去研究图画书的叙事,论述了如何应用空间属性的视觉功能来完成时间属性的叙事功能,以静态的图画来展现动态的故事,以及如何通过视觉化的叙事手段来叙述故事以达到图与文、人与书的紧密互动。其研究对象选取以图画为主体来完成叙事的经典纸质图画书出版物。通过对已出版的经典纸质图画书的视觉化叙事进行分析及比较,研究其叙事特征与视觉表现方法的独特性,并结合自己的专业实
在和平时期,实时的对弹药库房中的有害气体成分的含量进行检测,确保弹药储存安全和管理人员安全是弹药储存管理的一项重要研究内容。本文研究了嵌入式系统在仓库环境监控中的具
<正>医学独立实验室起源于传统的医院内实验室,其管理与传统的医院内实验室有很多相似之处,然而,由于其服务时间、服务地点、服务对象、服务内容的特殊性,又具有独特之处。本
会议
采用经过多年度多重复选择改良的良种马尾松幼龄材与一般马尾松成熟材进行造纸性能比较研究.试验结果表明,采用良种马尾松幼龄材制浆造纸是可行的,且比用一般成熟材具有更好