通用ETL工具的研究与设计

来源 :复旦大学 | 被引量 : 0次 | 上传用户:yinyuewn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库能有效的把大量分散和异构的数据集成到统一的环境中以提供决策型数据访问,提高企业的数据资源利用能力,在现代企业的信息化建设中起着越来越重要的作用。而一个高质量的ETL过程则是建设数据仓库的关键环节。利用ETL工具可以对异构数据源中的业务数据抽取和转换,并将其装载到数据仓库中,为基于数据仓库的决策分析应用提供高质量的数据。ETL工具从本质上而言是一种数据转换工具。传统ETL工具一般是对加载到内存的数据逐条进行转换或者质量检测,转换效率比较低。此外,传统ETL大都面向特定的行业领域,对该领域内的具体事务支持较好,当转移到其他领域时,面对新的业务逻辑可能很难处理。针对传统ETL工具的缺陷,本文展开了深入的分析和探讨,着重研究了ETL中的几个关键问题,给出了一个通用ETL工具的设计方案和系统架构。它支持多种异构数据平台。在转换环节,提供了大量细粒度的转换组件,通过组件组合的方式完成复杂的事务,以支持多个领域的业务需求。该工具从各异构的数据源获取元数据并加载到专用的ETL服务器中,在ETL服务器上设计各字段的前后映射,并将整个过程(即抽取规则的元数据)保存到XML中。在运行阶段,通过解析保存在XML中的ETL过程来生成对应的SQL脚本,交由ETL服务器上的数据库完成全部转换工作,最后载入到目标数据库中。最后本文实现了这样一个通用的ETL工具,并应用到具体的业务场景中,开发人员利用此工具灵活、便捷的设计ETL任务,系统运行平稳,很好的完成了数据仓库的ETL过程。
其他文献
本文拟通过控制水分和生长调节剂处理,以期调控花黄槐的花期,尽可能让其花期提前半个月,延后半个月开花,通过修剪和施用生长调节剂 , 花期从 5 月持续到 6 月,即一年两次花期
我国利率市场化改革正处在逐步放开管制利率的关键时期,利率市场化改革将改变利率的决定方式,直接影响商业银行存贷款利率,进而对商业银行传统的盈利模式造成冲击,促使商业银行积
水肥一体化技术是提高化肥有效利用率的重要手段之一,而基于脉宽调制的电磁阀控制模式是调节吸肥量的主要技术手段,但关于电磁阀连续开关模式下的文丘里施肥特性缺乏详细的阐
目的:研究电针疏密波和连续波治疗椎动脉型颈椎病的临床疗效。方法:采用随机、对照的临床研究方法,将60例椎动脉型颈椎病患者分为治疗组与对照组,每组30例,治疗组采用电针疏密
介绍海南省无公害农产品产地建设基本情况和发展现状,分析目前建设中存在的问题,提出有针对性的对策和建议,以促进海南无公害农产品产地持续健康发展。
目的观察痰热清注射液膀胱冲洗对重型颅脑损伤患者导尿管相关尿路感染的临床疗效。方法将90例重型颅脑损伤并发导尿管相关尿路感染患者按随机数字表法分为聚维酮碘组、呋喃西
贵金属纳米材料由于小的尺寸和大的比表面积而具有一些常规粗晶材料所不具有的特殊的光学、电学、磁学以及力学等性能,同时具备较高的传热导电性、催化特性及抗菌性等性能,这
目前,感应加热电源技术主要是向着大功率、高频率和智能化控制技术的方向发展。然而,即便采用了软开关技术的感应加热电源,其设备总损耗的80%以上仍来自于功率器件自身的开关
碳化硅材料有大禁带宽度、高临界击穿电场、高热导率和高载流子饱和漂移速度等优良特点,能满足更恶劣环境的需求,使其在高温、高频、大功率和抗辐照等领域的应用更加广泛。4H
农作物种植类型的地理分布差异,气候条件差异、土壤环境不同等因素的影响,需要开展农作物生长模型参数区域化、本地化的研究工作;通过改善区域气象数据空间化方法以提升插值