多源数据清洗策略研究及在财政部门预算中的应用

被引量 : 3次 | 上传用户:a597525618
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,各地财政部门都在进行金财工程大系统建设的探索工作,把分散在各个信息孤岛上的财政数据转换成集成统一的数据,最大限度的实现对财政资源的整合,而在这个过程中需要运用适宜的数据清洗策略,为财政预算编制与决策提供准确、一致、完整的信息。本文首先概述了金财工程和数据仓库技术,而后从分析数据质量问题开始,引出数据清洗的相关原理,并着重讨论了对不同数据质量问题采取的不同数据清洗策略。随后,本文描述了多源数据清洗在构建财政部门预算数据平台中的应用,并详细阐述了引入了数据清洗模块的数据抽取、转化和装载应用模型,通过对数据平台应用的整体架构的探讨,为财政预算数据仓库提供一个高效的数据平台。重点研究了数据抽取、转化和装载工具数据清洗策略的实现,并针对财政部门预算数据的特点,改进了相似重复记录清洗的算法。一是改进了记录匹配的计算方法,运用了与阀值相结合的相对文本编辑距离素计算文本相似度,解决了一部分拼写错误和大部分新老身份证号码的识别;二是运用不同关键字执行两趟基本近邻排序,提高了重复记录的检出;三是采用可变窗口,提高了清洗效率。并且还描述了空缺值、单一状态列、非标准字段、不可信极端数据处理的在数据抽取、转化和装载工具数据清洗模块中的实现算法。同时,总结了数据抽取、转化和装载实施数据清洗的工作流程。本文最后运用人员管理信息库和财政统发工资数据库的部分数据对数据抽取、转化和装载工具数据清洗模快进行了测试,并通过相似重复记录清洗不同算法的比较,测试了本文改进基本近邻排序算法的性能。综合测试实验结果,数据抽取、转化和装载工具的数据清洗模快能够针对财政部门预算数据平台中不同的数据质量问题采用不同的数据清洗策略实施数据清洗,为财政部门预算解决了财政供给政策分析和支出预算政策调整的基础数据来源问题。
其他文献
随着休闲度假时代的到来,温泉旅游的发展呈现出前所未有的蓬勃景象。尤其是随着温泉旅游区的建设与开发,如何寻求一种适合温泉旅游区开发的模式,就成为政府规划部门和旅游开
氮化铝陶瓷导热性能良好,是集成电路基板和电子封装的理想材料。但氮化铝为强共价键结合物,熔点高,自扩散系数小,通常需要热压烧结才能制备出高致密的氮化铝陶瓷。并且氮化铝
山石理景仍然是我国现代风景园林理景的重要内容,我国古典园林在山石理景艺术理论和技术手法上积累了许多精髓。以我国现代风景园林理景创意设计中常用的山石景观类型:壁岩与峭
氧是需氧生物必不可少的基本物质,需氧细胞在物质能量过程中,如果氧未被完全还原成水,可产生氧自由基,这些氧自由基可转变成一些非自由基氧活性物质,由于功能上的相似性,这些物质被
在人类历史长河中,在广袤的大地上,太阳无时无刻不以其普照大地、孕育万物的博大深邃和变幻莫测给人类以深刻的影响;尤其在蒙昧无知的史前时代,这种影响更是深远,因此对太阳
目的:通过对肾阳虚、肾阴虚、肾精不足证地中海贫血与神经内分泌免疫相关性研究,初步了解地中海贫血患者及3种证型之间神经内分泌免疫系统的功能,并探讨地贫患者血红蛋白水平
<正> 唐代的诗文中,描写乐工的音乐活动时常常出现“翻曲”一词,如:花蕊夫人《宫词》:“御制新翻曲子成,六宫才唱未知名;尽将筚篥来抄谱,先按君王玉笛声。”白居易《代琵琶弟
利用灰色关联度分析法,对干旱胁迫下5个茶树品种的部分抗旱相关的生理性状与其抗旱指数的关联度进行分析和评价。结果发现,5个生理性状与抗旱指数的关联程度大小依次为:超氧化物
随着中国对外开放步伐的加快,越来越多的外国朋友来访中国,他们需要住宿休息,宾馆正好满足了这个需求。因此,中国宾馆经营者需要为他们的宾馆起一个英文名字,以吸引外国朋友
本文是以“圆”的造型样式在唐代石刻造像中的出现的现象、条件、艺术特点以及给后世的影响过程为脉络,分为四章进行论述的。在绪论中笔者谈到身处诸多石窟中观察分析和亲身