【摘 要】
:
随着信息化的深入,企业积累了大量数据。企业纷纷将分散的业务数据集成起来,建立数据仓库,为决策提供支持。然而,在数据仓库建设过程中,数据源数据存在缺失、异常和重复等质量问题
论文部分内容阅读
随着信息化的深入,企业积累了大量数据。企业纷纷将分散的业务数据集成起来,建立数据仓库,为决策提供支持。然而,在数据仓库建设过程中,数据源数据存在缺失、异常和重复等质量问题,数据集成又容易引入新的质量问题,使得最终数据仓库数据的质量不高。高质量的决策依赖高质量的数据,因此必须对数据进行质量管理和控制。为了解决数据仓库建设中的数据质量问题,设计数据质量管理系统对来自多个源的数据的质量进行监控和管理,并对发现的质量问题,提供清洗方法。系统包括数据质量检测组件、重复数据检测组件、错误数据清洗模块和质量问题统计模块几个部分。数据质量检测组件采用基于规则校验的方式,实现对各种错误数据的检测;重复数据检测组件主要是对数据集中重复记录进行识别和处理,并将改进的基于语义的编辑距离计算中文字段相似度的方法引入到重复记录识别中,能提高含有中文字段的记录的重复记录识别的准确性;错误数据清洗模块主要是对检测出的错误数据进行清洗回流;质量问题统计模块主要是对数据质量检测组件检测过程中产生的问题数据信息,做统计汇总,并生成报告,提供可视化图表展示。最后对设计实现的数据质量管理系统,进行测试。设计两组实验,一组是系统对错误数据的检测和清洗过程的测试;另一组是针对采用不同字段匹配方法的重复记录识别进行对比实验。测试结果验证系统执行的正确性和有效性,对比实验表明新方法对含中文字段的重复记录识别具有更好的准确性。
其他文献
在中国加入世贸组织之后,市场竞争日益激烈。邮政业作为传统的政府政策支持行业,在国家实施“8531”政策之后,其专营优势已经在不断的丧失,不管是银行业务、还是快递业务,都受到了
目的探讨Ⅲ期非小细胞肺癌(NSCLC)患者中人切除修复交叉互补因子1(ERCC1)表达与含铂新辅助化疗敏感性及预后的关系。方法27例行新辅助化疗患者为实验组,33例同期未行新辅助化
目的探讨影响脑卒中后吞咽障碍(DAS)预后的因素,为优化DAS的管理提供指导。方法选择经标准吞咽评估(SSA)确诊的127例DAS患者,详细记录入院时的年龄,性别,咽反射,是否有糖尿病
《奥赛罗》是莎士比亚四大悲剧之一的重要作品,它产生于特殊的时代背景,反应欧洲社会在特殊时期的在意识文化领域的现状。本文主要分析《奥赛罗》创作的历史背景,对当时欧洲
“商业模式”的概念因上个世纪九十年代互联网经济的迅速发展而在这一领域的研究越来越多,并逐渐从理论延伸到对企业的应用研究领域中来。商业模式是涵盖了企业产品、企业服务
随着电子媒介的发展,媒介本身的力量被人们所正视,媒介环境学就媒介演进提出了人性化趋势理论。在这一理论视角上,本研究探讨了媒介演进过程中人的参与过程,引入习惯这一概念,并探
文化产业(Culture Industry)是全球现代经济中最活跃、增长最快、最有发展前途的新兴产业和绿色产业。21世纪以来,文化产业进入了快速扩张的新时期,有力促进了经济社会的发展和就
为了更加科学、准确地对水面舰艇编队整体防空能力进行评估,为水面舰艇编队建设提供详细的资料和数据。分析当前水面舰艇防空武器系统发展现状及对编队防空能力的一般评估方
首先构建威胁评估的指标体系,基于模糊隶属函数对各指标进行量化处理,并根据具体情况给出排序的合理方法。通过实例,给出具体的计算过程,此方法得出的结果与专家评判结果相一
液压助力器的性能对飞机稳定性有较大影响,飞机员通过液压助力器操纵飞机的平尾。严重的助力器抖动将引起飞机的纵向飘摆,给飞机的操纵带来严重问题,甚至酿成事故;而轻微的助力器