科技云中非结构化数据向结构化数据的转换方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:stong_sz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,数据逐渐成为驱动经济增长和社会进步的重要生产力和战略资源,加快推进这些数据资源的开放共享则是政府转型的内在需求及强大动力。为了更好地实现科技数据的共享联动和服务管理的高效便捷,陕西省政府充分利用工作中积累的丰富科技资源,提出了“科技服务管理一体化云平台”的建设目标。但在科技云的建设过程中所采集的原始数据绝大部分是非结构化的文本数据,许多资源无法直接使用,而仅仅依靠人工方式从海量数据中提取有效信息,将其转换为结构化数据需要消耗大量时间和人工成本,无法满足业务需求。基于对非结构化数据转换的迫切需要,本文提出非结构化数据向结构化数据转换的相关方法。本文首先分析了科技云中对非结构化数据处理的相关需求和特点,并对非结构化数据转换的主要方法进行对比,根据实际情况采用基于机器学习的实体关系抽取方法实现了非结构化数据的结构化,并将非结构化数据向结构化数据转换的过程分解为三个关键问题,即分词和词性标注,命名实体识别和实体关系抽取。本文重点对其中的两个核心任务命名实体识别和实体关系抽取进行了算法研究和实现。对分类并解析后的非结构化文本,本文首先利用中科院的NLPIR(Natural Language Processing and Information Retrieval)自动分词工具包进行分词和词性标注等预处理工作。然后采用规则和CRFs(Conditional Random Fields)相结合的方法完成命名实体识别任务,具体地,对数字和时间表达式这些简单实体使用外部资源表和规则相结合的方法进行实体识别,对人名、地名和组织机构名等复杂的其他类型命名实体则通过CRFs和规则相结合的方法进行识别处理。本文还针对不同类型实体制定了特定的特征模板,通过实验调优得到最佳窗口大小,并用L-BFGS算法对模型参数进行估计训练,在此基础上结合CRF++工具包对算法进行了具体实现。最后通过基于无监督的K-means聚类算法完成实体关系抽取任务,并根据实际需求对K-means算法中的K取值、初始化聚类中心选择和孤立点问题进行了优化,基本实现了从非结构化数据中获取结构化数据的目标。本文对非结构化数据转换中的命名实体识别和关系抽取算法进行了重点研究和实现,并完成了相关功能的测试以及相应结果的分析工作。测试结果表明,本文提出的命名实体识别和关系抽取等算法能够对科技云文本中需要的数据进行有效提取,整合成结构化数据。该研究为科技云建设中的数据处理工作提供了技术支持,减轻了人工数据处理的工作量,提高了处理速度和效率,具有一定的实用价值。
其他文献
小额贷款公司的出现,对缓解小额融资需求,引导民间融资具有积极意义。从更深层次上讲,小额贷款公司的诞生,表明政府对纯私人性质的金融组织持认可的态度,对民间融资和小额信贷的作
在国民经济和社会发展过程中,财政审计监督发挥着非常重要的作用,近年来,我国财政审计监督所披露的问题不断增多,为了能够有效的提高财政预算资金的使用效率,进一步加强廉政建设,则
石灰石-石膏湿法烟气脱硫工艺是我国火电厂控制二氧化硫排放的重要工艺,亚硫酸钙的氧化率是该工艺中一项重要的技术指标。目前,国内在实际的工程应用中对浆液氧化率只进行简单的酸碱控制,但是单一的pH指标并不能反映出浆液内部氧化状况。氧化率不稳定会引发诸多问题,例如氧化风机能耗过大、石膏质量低劣、亚硫酸盐含量过高、脱硫塔易堵塞等。因此,利用多指标科学有效地对脱硫系统的强制氧化环节进行调控,控制亚硫酸钙氧化率
随着全球经济的快速发展,高科技产业如雨后春笋,蓬勃发展。电气自动化系统作为高新技术产业的主导力量,已经逐渐成为各个尖端产业及领域不可缺少的技术支持。电气自动化系统已经
随着经济全球化的日益发展,全球化大生产、大流通、大贸易、大循环的经济格局逐步形成,与世界经济接轨、与国际惯例同步是物流发展不可逆转的大趋势。为此,各国物流的标准无疑需要与国际一致,不能违背国际统一标准。如果一意孤行,最终将作茧自缚。此外,物流标准化是一种超前性的工作,在各国物流发展初期就把标准化工作抓好,防患于未然,对各国物流业以及世界物流业的长远发展将具有重大的现实意义和深远的历史意义。    
随着我国高等级公路的迅速发展,沥青路面作为一种高级路面被广泛采用,然而沥青路面却易出现早期损害现象,水损害是其中首要的也是最严重的现象之一。在对路面破坏现象广泛调查、
本文通过对我国信用关系存在问题的分析,认为社会信用关系弱化的原因主要是:产权不明晰是社会信用弱化的重要原因之一;无序信用关系的形成是各经济主体无序竞争的结果;社会信
背景神经突触前膜胞内蛋白13-1(mammalian uncoordinated 13-1,Munc13-1)特异表达于突触前膜活性区。它作为突触囊泡启动装置的重要组成部分来参与调控突触囊泡的释放。然而
有人曾说:“模拟的最高境界在于对现实的完美还原,而不在于它的具体形式……”。从这点来看,我认为《罗马:全面战争》并不仅仅是一个即时战略游戏,他早已超脱出战略的范畴,就像他的
中国快递业的“四方势力”(四大外资、中国邮政、民营快递、内资大企业)正因为企业策略调整和国家政策的即将变化面临有史以来最大的格局变幻。  继美国联合包裹公司(UPS)之后,国际快递四大巨头(UPS、FEDEX、DHL、TNT)之一的美国联邦快递(FEDEX),斥资4亿美元巨资告别了昔日的合作伙伴大田集团实现独资,并将大田集团经营国际快递和国内快递的所有资产、以及大田集团拥有的50%股份纳入旗下。