基于主题模型的多文档自动文摘技术的研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:wende198
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的高速发展,互联网应用渗透到人们工作生活的各个方面,爆炸式的信息增长使人们难以快速准确地获取所需信息。如何从海量数据中分析关键数据、抓住重点内容,成为一项具有挑战性的任务。多文档自动文摘技术是解决这一问题的一种途径。自动文摘技术可以自动生成概括性文字,将相关内容浓缩为简洁的摘要。近年来,很多文摘方法相继被提出,自动文摘技术不断地得到改进和完善。本文对自动文摘中常用的主题模型方法进行了分析,针对现有方法的不足,对主题模型进行了改进,并且对摘要句排序算法进行了完善,在此基础上提出了一种基于主题模型的多文档自动文摘方法。本文的研究工作主要包括以下几点:(1)针对主题模型分类不精确的弱点,对主题模型进行了改进,假设主题模型是由文档特定模型和背景模型混合而成,分别对文档-词、主题-词、文档-主题的概率进行重新估算,使一些可由背景模型解释的词和主题,不再出现在文档特定的主题模型中,主题分类更加准确,主题内的词的一致性更强。(2)针对摘要句的排序问题,通过比较句子相似性确定每两个摘要句之间的先后关系,构造以摘要句为顶点、句子之间先后关系为边的有向图,通过对有向图排序来得到摘要句的顺序。(3)实现了一个基于主题模型的多文档自动文摘系统,融合了主题模型和多个统计特征,可以对查询进行响应,通过MMR方法降低冗余,排序后生成摘要。对本文提出的主题模型重估方法和多文档自动文摘方法进行实验,实验结果表明主题模型重估方法提升了主题的纯度,分类效果更好;自动文摘方法可以得到信息较全面、组织良好的摘要。
其他文献
我国“村改居”是在城镇化的大背景之下将农村户口转变为居民户口的行为,原来的农民不再以从事农业工作获得的利益作为主要收入来源,“村改居”社区既不同于农村村落,也区别于城市社区,是由农村村落向城市社区过渡的一种社区形式,在“村改居”社区管理中,政府作为主导组织其他部门共同进行管理。“村改居”社区不只改变了农民的户口、集体资产以及治理模式,更是对整个农村格局以及农民自身利益分配模式的转变,是加快我国城乡
陶行知先生的教育理念是教育的根本源自生活,学生身边的实际蕴含着教育的本意。尤其幼儿园的孩子,其所有认知都来自于身边生活的潜移默化的影响,所以幼儿园中的所有活动都是
又到了高温多雨的季节,根据近期的调查,当前苹果园内炭疽病发生严重,有的果园果实受害率达46%,给果农造成了很大的经济损失。
业财融合这一理念于上世纪八十年代由美国学者首次提出,随着企业现代化进程的加快,过于分散和简单集中化的传统财务管理模式已无法与市场需求相匹配,所以业财融合管理模式下的财务转型是企业必行之策,而财务共享服务模式的建立是财务转型的最有利手段之一。近年来,我国许多大企业纷纷加入到业财融合转型的队伍中来,许多集团企业以建立财务共享服务中心的方式来降低财务运作成本,以达到推动企业财务向价值管理和决策支持转型的
本文对下套管过程的摩阻进行计算,并对额外产生的摩阻因素进行分析,通过现场试验、实践进行总结,采取改善钻井液性能、添加润滑剂、使用加重装置等,降低和减少摩阻效果明显,而且大
金融安全是国家安全中非常重要的一环。随着互联网金融、智慧金融的迅速发展,金融业务面临的风险挑战越来越大。大数据时代的到来使得机器学习成为了非常重要的金融风控工具
就像男人的第二次婚姻一样,期货人士对市场前景的预期高过了对过程的体味.从哈尔滨到深圳,尽管各地期货经纪公司生意依旧冷清,但不少公司已经贴出了"诚聘英才"的启事.采访期
随着城市化进程的推进,体验经济时代的到来,国家“美丽乡村”政策的提出,观光农业园进入公众视野并引起了建设热潮,但目前我国观光农业园的设计存在设计趋同和体验性不强等问
中国大豆种质资源研究进展⒇常汝镇孙建英邱丽娟(中国农业科学院作物品种资源研究所北京100081)大豆原产中国,种植历史悠久。在长期的种植过程中,经过自然选择和人工选择,形成了丰富多彩
随着信息技术的快速革新,越来越多的大中型企业采用了共享服务式的财务运营模式,财务共享服务平台采用先进的信息系统,集中收集、处理和分析企业运营中的大量财务数据,具备发