多项文本挖掘关键技术的研究和实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:weishaohua1982
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本挖掘是指通过计算机对文本进行的信息挖掘、含义分析、分类标注和关联分析等处理,可以从文本中提取出能为人所用的信息乃至于知识。互联网行业和各产业的信息化发展为文本挖掘提供了丰富的文本语料资源,也同时要求文本挖掘系统的准确性、有效性、运算效率和个性化水平不断提升。文本挖掘要求从纯文本中提取出有价值的信息并为信息化事业的发展提供基础,其中属于特定语义类别的新词、文本事件类别、文本事件元素和文档摘要是应用广泛的文本信息。本文研究并实现了解决文本挖掘中多个核心问题的方法,包括面向特定语义类别的新词发现,面向ACE2005语料的事件类别识别和在事件类别信息基础上的事件元素识别,以及面向单文档和多文档的自动摘要。新词发现、事件识别和自动摘要系统均在各自的标注语料中进行了实验,并取得了较为理想的效果。面向特定语义类别的新词发现方面,本文考虑到对语料进行类别标注的成本较高,从同类新词具有相似的上下文信息的角度出发,设计了一种基于bootstrapping和软模式匹配的新词发现方法,根据语义特点将新词拆分成多个部分,并根据新词部分将新词所在句子分割为多个槽,通过统计已标注新词和候选新词各词频槽的词向量相似度和词频向量相似度为候选新词打分,并将评分较高的候选新词加入已标注新词。本文在电子病历语料中进行了实验,将症状新词拆分成<部位,性状>两部分,症状新词发现的F值达到了81.40%。面向ACE2005语料的事件类别识别和事件元素识别方面,本文在其他研究者基于支持向量机分类器的方法基础上进行了改进。在事件类别识别中,本文根据同句中各个候选触发词的位置和触发事件的信息,加入了一些和候选触发词和候选元素相关的特征,并优化了文本信息预处理的方法。基于带有事件标签以及相应的实体、时间、数值标注的中英文ACE2005语料,本文衡量了事件类别识别和事件元素识别方法的效果,在事件元素识别中也加入了和实体、数值和时间标签相关的新特征。事件类别识别的F值达到了64.2%,事件元素识别的F值达到了63.7%。任务中,本文将TextRank算法和聚类方法结合起来,利用BM25算法及多种句子相似度算法设置TextRank无向图模型中的边权重,并通过聚类方法尝试减少自动中的冗余信息,将句子和文档间关系作为摘要提取的依据。系统在DUC2001以及DUC2002语料上进行了多种长度的单文档和多文档的实验并用ROUGE工具进行了评测,取得了较好效果。
其他文献
【正】 鲁迅先生存《琐记》中,以极大的憎恶刻划了一个叫做衍太太的反动嘴脸。这是个奸诈而柔媚的人物,她装出一副关心和爱护孩子的样子,引诱他们干坏事,让他们看淫书淫画,不
伟大领袖毛主席教导我们:“不斗争就不能进步。”“八亿人口,不斗行吗?!”毛主席的指示,充满着革命辩证法,是反修防修、坚持无产阶级专政下继续革命的强大思想武器。
【正】 鲁迅先生早年的重要诗作《自题小像》的写作年代和地点问题,值得讨论一番,因为它牵涉到对诗意的正确理解。鲁迅的这首诗,其实是应该称作《无题》的。一九○三年鲁迅在
随着科技的不断进步,医疗卫生事业的日益发展,老年人口系数也逐年提高,社会老龄化已成为全球社会发展的必然趋势。老龄化社会不仅仅是人口结构的变化,也是科学发展、社会进步
序曲:用革命回答地震一九七六年。中国。社会主义革命正在深入进行。在毛主席和党中央领导下,全国人民意气风发,正在开展一场批判邓小平、反击右倾翻案风的伟大斗争。
大学生不仅是未来我国人口的主体,更是知识经济时代、创新驱动经济发展阶段必然的主体,他们是引领我国创新创业、经济转型升级并使我国成为创新型经济体的主力军与希望所在。
摘要 以人为本是建立在马克思主义哲学基础之上的,包含着深刻的哲理。进入新世纪以来,党和国家高度关注民生,把“以人为本”作为国家发展的立足点和落脚点,从而实现了我国社会、经济的发展与社会主义本质的对接,也体现了马克思主义的本质。  关键词 马克思主义 以人为本 逻辑联系  中图分类号:D641文献标识码:A    Intrinsic Logic Relation between People-ori
为什么中国职业经理人走马灯似地遭遇滑铁卢之战?因为中国职业经理人从一开始就是拖着病蔫蔫的身子坐上高级白领交椅的。这种病蔫蔫表现出的短视症、彷徨症、贪婪症、狡诈症、梦游症、肾虚症,使他们屡败麦城。  2003年职业经理人精英频频被杀出局的震荡在人们的心头还余波未息,2004年盛夏时节华晨中国四高管抛股谋反的传闻又甚嚣尘上。中国职业经理人来也匆匆,去也匆匆,一个个悲情咏唱“走麦城”。这是怎么啦?  似
2004年,对于中国这片土地上的企业来说,是百感交集的一年。我们试图从企业管理的各个角度,为经理人选出一些本年度最具争议及各界人士关注的焦点事件。这些事件均是发生在知名企
国际水协主席麦克&#183;罗斯勋爵最近在北京接受采访时断言:中国将很快跻身世界水务大国。至2020年,中国的水市场将高达1万亿美元!水务产业以水的生产、利用和处理为产业链,涵盖