基于工作流和元数据的ETL工具研究与实现

被引量 : 14次 | 上传用户:sxxwmb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在全球经济一体化的背景下,随着互联网和信息技术的快速发展,企业建设相应的信息化系统成了必然趋势。然而,企业在信息化建设的过程中,大都实施了许多不同的企业应用系统。因此,各企业为了解决信息孤岛问题,必然要加强企业内各部门之间、企业间信息系统的资源共享和应用集成,从而信息的采集和分析管理成为了关键。ETL(Extract-Transform-Load)工具就是通过对不同的数据存储格式进行抽取、转换、加载来为数据仓库提供数据,进而达到资源的共享,为决策提供数据支持。可以说,ETL工具是从数据集成的角度来解决信息孤岛问题的。根据论文的研究目标,本文论述了一种基于工作流和元数据的ETL工具的研究与实现。论文首先介绍了ETL工具的相关背景知识,并分析了ETL工具的研究现状,根据当前异构数据源的特点,提出基于通用数据访问技术(ADO.NET)的ETL系统的体系架构。该ETL系统具有工作流引擎、元数据管理、丰富的数据清洗功能、友好的拖拉式用户界面和多线程并发处理等功能。本文中的所有功能模块都具有相应模型,本文主要的研究工作和创新点是:设计了ETL工作流模型、元数据模型、数据缓冲模型、并发规则执行模型。工作流模型为ETL各个任务的按时间、按事件自动执行提供了基础;元数据模型的实现为本系统的数据错误控制、数据质量检测、ETL规则定义等奠定了基础;数据缓冲模型的设计克服了数据表中记录的误差问题,并为数据转换提供了良好的数据质量;并发规则执行模型建立于数据缓冲模型之上,数据缓冲模型的多个子缓冲为多线程并发执行提供了基础,并发规则执行模型提高了系统的性能和吞吐量。本文最后对ETL工作进行了总结,并阐述了将来可以进一步完善的一些相关工作。
其他文献
<正>中国国土上,有一条看不见的线,你不一定知道它,它却可能影响过你的生活。这条线北起黑龙江黑河,一路向着西南延伸,直至云南腾冲。1935年,国立中央大学地理系主任胡焕庸通
地理信息系统(GIS)是一门新兴的综合学科,能把各种信息向地理位置和有关的视图结合起来,具有强大的地理数据处理功能。它的应用不但已经到深入到各行各业中,而且在现代化军事
中国是一个森林资源稀缺型国家,中国森林覆盖率仅相当于世界平均水平的61.52%,人均森林面积仅为世界平均水平的22%,人均森林蓄积量仅为世界平均水平的14.58%。长期以来中国森林资源
IPO抑价问题普遍存在于全球新股发行市场,到目前为止,IPO抑价仍然是困扰金融学界的难题,国内外许多学者从不同的理论和实证角度对这一现象进行了解释。本文依托中国股票市场转轨
取材于西游故事的西游文化熟语,作为一种成熟的语言形态,集中了历代群众的智慧,是人民大众创造力的结晶,是中华民族五千年历史与文化的积淀,充分显示了中华民族丰富的想象力,寄托了
在热辐射功率为50kw·m-2、气体体积流速为24L·s-1的条件下,氧浓度为12%、15%、18%和21%的燃烧气氛中,采用可控气氛锥形量热仪,分别对硼酸、磷酸脒基脲及阻燃剂FRW阻燃处理的纤维素
在中国,正在经历着一个重大的发展模式的变革,中国可持续发展战略的制定和实施标志着这场变革的开始。作为面向21世纪的环境法,符合可持续发展观的要求是不可抗拒的历史潮流
公安信息系统带来办公自动化、协同网络化、管理规范化、流程标准化的信息化警务机制的形成。实现文件网上走、案件网上办,大量的公安业务工作由过去传统的手工纸质管理向计
目的:本课题第一部分研究下呼吸道感染合并低钙血症患者与发病频度的关系及COPD合并低钙血症患者与发病频度的关系。第二部分旨在观察COPD急性期与稳定期患者血清钙、磷、镁和
目的:分析和评价独生子女父母在家中照料老人时的日常生活、医疗、护理、社会等有偿服务的需求状况,并探究这些需求的影响因素。在此基础上分析总结护理工作在老年家庭养老照