一种ETL应用的自动化开发及部署框架

被引量 : 0次 | 上传用户:yuanpings
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
过去的二十年是信息科技行业发展的黄金时期。摩尔定律下的互联网以及计算机软、硬件条件的不断成熟,促使着各行各业都迈入了信息化、电子化的运作模式。大量的日常业务数据被存储在企业的业务系统中,随着时间呈现爆炸性的增长。如何有效地利用这些历史数据,为企业管理人员提供决策的依据,即知识,从而发展新业务,创造新利润,成为技术专家亟需研究的问题。商业智能、数据仓库和数据挖掘等概念便是在这种应用背景下被提出的。ETL (Extract, Transform and Load),即数据的抽取、转换和加载,是商业智能的心脏和灵魂。ETL过程抽取日常业务系统中积累的历史数据,转换成特定格式,加载到预先设计的数据仓库,以方便下游系统进行特定需求的查询、分析,典型的如在线分析处理OLAP系统。据调查,ETL应用的设计与开发工作占据整个商业智能项目60%到80%的时间。对于占据如此大比例的工作,如何提高它的效率对于一个商业智能项目是极其关键的。可以从很多方面着手来提高ETL应用的设计与开发效率,例如选择恰当的软件工程模式、选择合适的ETL工具等。本文着重从两个方面提高ETL应用的软件工程效率。一方面,通过设计一个自动化ETL开发框架,帮助ETL开发人员完成大量简单重复的ETL开发工作以提高效率;另一方面,从ETL应用的部署角度切入,在详细讨论了传统的ETL部署过程,指出其所存在的问题,并分析其原因的基础上,设计实现了一个自动化ETL部署框架。运用这一自动化部署框架可以极大的缩减ETL部署时间,加快软件工程的过程,提高ETL设计及开发效率。在实际项目中的运用证明本文提出的ETL自动化部署框架是可行的。
其他文献
目的探讨次侧交叉配血的必要性。方法对2011年9月-2017年4月期间47例交叉配血次侧不合的原因进行分析。结果次侧交叉配血不合47例,其中患者血型鉴定错误8例(17.0%),献血者血
目前静态混合器多用于小尺度、高粘度化工工艺,在水处理工艺中所使用的混合器类型较单一,理论支撑较少,且静态混合器的实测水头损失往往与理论计算有较大的偏差。本文结合FLU
现代公司制企业中,高级管理人员作为公司领导者,通常负责公司重要战略与决策的制定与执行,在公司中发挥举足轻重的作用,因此,公司管理层的稳定与否对公司经营发展具有重要影
红色旅游,是一种具有重大政治意义和教育意义的旅游资源,是无形的财富,是巨大的宝藏。现如今,随着人们文化水平和思想意识的不断提高,红色旅游对人们的吸引力也越来越强,本文
区域综合发展潜力评价方法研究,是经济地理学、区域经济学理论研究的重要内容,也是国家主体功能区规划实践的迫切需求。从省域县级综合发展潜力评价特性、目标与内容入手,建
受新进入缺陷的制约,中小高科技企业面临成长的困境.本文利用多案例探索性研究,挖掘了创业投资机构的介入是如何影响中小高科技企业有效嵌入所在的创新网络环境,以及如何驱动其网
目的观察布地奈德混悬液联合硫酸特布他林溶液、异丙托溴铵溶液及盐酸氨溴索注射液雾化吸入在AECOPD中的临床疗效,评价68例AECOPD患者治疗前后临床症状、体征、动脉血气分析
中国建筑文化具有悠久的历史,其构造形式和审美形式至今对我们都有着深远的影响。木雕艺术作为传统建筑文化的一部分,它在建筑中的美学价值一直影响至今。婺源木雕作为中国众
持久性有机污染物(POPs)具有长期残留性、生物蓄积性、半挥发性和高毒性等特点,在环境中可长期存在,在生物体内富集,通过生物放大作用对生态系统的生物和人体健康构成潜在威