一种基于SCA的ETL架构的设计与实现

来源 :东华大学 | 被引量 : 0次 | 上传用户:maigcy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息系统是现代化企业必不可少的业务系统,里面存储着企业的宝贵财富。激烈的市场竞争使得企业不得不由传统的联机事务处理业务系统和办公自动化系统转向联机分析处理和数据挖掘的商务智能系统,而数据仓库则是商务智能系统的数据基础。数据仓库建设中有60%-80%的开发周期和三分之一的项目成本是花费在ETL上的,使得ETL成为数据仓库项目的瓶颈。针对ETL开发周期瓶颈的问题,本文提出一种基于SCA的ETL架构。把ETL中要解决的主要问题进行更细粒度的划分,采用更细粒度的组件来实现,根据不同问题的特点选择适合的实现方式,然后采用SOA的架构设计思想和其SCA最佳实现方式,把这些细粒度组件实现通过SCA容器统一整合起来。在本架构中把ETL的实现分为四种粗粒度组件,即元数据组件、通用数据源组件、数据质量组件和维度建模组件。其中元数据组件和通用数据源组件属于基础组件,供数据质量组件和维度建模组件调用,各粗粒度组件又包括多个实现具体功能的细粒度组件。本文通过一个实际项目的应用开发,说明基于单一的ETL工具来实现ETL流程时所存在的问题,如数据源的变更,系统的升级,客户提出了更高的需求等,然后论证了基于SCA的ETL架构能够很好的解决这些问题,同时具有极大的灵活性,证明了基于SCA的ETL架构能够降低ETL的开发周期,具有实际的应用价值,最后分析了基于SCA的ETL架构的优缺点及其适用的场景。
其他文献
期刊
随着医学的发展,分娩镇痛(无痛分娩)已广泛应用于临床。我国无痛分娩率不足1%,很多产科医生、助产士还有产妇及家属都担心无痛分娩对母婴有不利影响[1],本文结合我院无痛分娩的
近年来,随着企业信息化的飞速进展,国内ERP厂商及优秀人才对国际先进技术、经验的进一步借鉴、吸收,再加上ERP软件供应商和企业用户对信息技术的深入学习、理解和吸收,ERP在
目的探究胰酶肠溶胶囊治疗酒精性脂肪肝合并消化不良的临床效果。方法选取收治的112例酒精性脂肪肝合并消化不良患者,按照治疗方法分对照组和联合组各56例。对照组予以多烯磷
第二课堂是整个教学体系中非常重要的一个组成部分,对大学英语这门实践为主的学科,第二课堂显得尤其重要。克拉申(1981)把语言学习过程分为输入(Input)和输出(Output)两部分,
在日常教育教学工作中,后进生的转化既是教学工作中每个教师所面临的棘手问题,也教育工作中是“最难啃的硬骨头”。下面结合日常的一个教育案例,浅谈如何抓住日常中的契机来
近年来,在我国经济蓬勃发展下,我国农业也获得了进步,虽然规模不断扩大,技术日益提高,但是在水利工程建设与发展方面还存在很多不足之处。尤其是水资源短缺问题,给农业发展造
单纯疱疹病毒脑炎(HSE)是单纯疱疹病毒(HSV)引起的一种急性中枢神经系统感染性疾病,是散发性急性致死性脑炎的最常见原因,年发病率为(1-2.5)/10万。本文回顾我院1998至2009年临床诊
加缪的“荒诞”哲学是20世纪西方最具影响力的学说之一。作为一个将哲学与文学相融合的作家,加缪的文学作品皆可被视为其“哲学宣言”。在他的众多作品中,戏剧作品是一个特殊
<正>IT已经变得越来越复杂,用户迫切需要能够简化工作流程的技术。智能自动化的预测分析将取代人工密集型任务。正确地运用人工智能(A I)和机器学习,通过加强IT运营流程和工