基于元数据控制的ETL方法研究与软件开发

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:gg741852963
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化进程的不断推进,大部分企业已经把数据仓库作为企业数据集成的主流技术,为企业提供综合的真实的数据视图。而数据的抽取、转换、加载(Extraction、Transformation、Loading,ETL)是数据仓库技术应用的重要的组成部分之一,直接影响企业数据集成的质量。由于企业数据具有多源、海量和异构等特征,ETL的效率和能否支持异构数据访问和集成是ETL过程中要解决的关键问题。  针对ETL的上述问题,本文采用元数据理论和方法,提出了一种基于元数据控制的ETL方法,并开发了ETL软件工具。具体研究成果如下:  (1)针对ETL的实际需求,结合国内外ETL方法和工具的研究成果,采用元数据方法和数据逆追踪方式,提出了一种基于元数据控制的ETL方法,设计了ETL控制元数据结构和ETL流程。经理论分析和实验验证,该方法提高了数据提取精度,减少了数据的重复计算,进而提高了ETL执行效率。  (2)基于上述方法,设计了ETL软件的总体架构,主要包括元数据模块、数据中转区、数据抽取引擎、数据转换引擎、数据加载引擎以及通用数据访问接口等几部分,详细描述架构中各个模块的作用。  (3)利用异构数据统一操作平台,设计了数据访问接口模块,解决了异构数据源的访问问题;采用元数据统一集成操作,设计了元数据管理模块,解决了ETL控制元数据集成管理问题。  (4)实现了ETL软件异构数据源访问及函数运算两个核心模块,给出了具体的实现方案。  本文提出的ETL方法,开发的ETL工具,有效提高了ETL的执行效率,支持异构数据源访问和集成。对于企业进行异构数据集成,快速构建数据仓库具有较高的实用价值;对于数据仓库和元数据的应用研究具有一定的参考价值。
其他文献
开采沉陷地层三维建模及可视化技术是三维地学模拟领域研究的重点与热点问题之一,它是运用计算机技术,在三维环境下将空间数据管理、图形可视化和实体内容分析等工具结合起来,用
随着物联网建设进程的推进,无线传感器网络的研究被推向了一个新的高潮。无线传感器网络是一门交叉的前沿学科,人们可以通过无线传感器网络感知客观世界,扩展现有网络的功能和人
近年来,概念格理论作为一种有效的数据处理方法,得到了很大的发展。它在各种形式背景的知识表示和知识发现中发挥着独特优势。  目前,有关概念格理论的各种研究主要针对经典形
SIP(Session Initiation Protocol,会话初始化协议)作为IP网络中的信令协议,其主要功能是建立和管理呼叫,具有简单、灵活、可扩展性强的优点,是下一代网络(NGN)的核心协议之一。
随着云计算商业模式的飞速发展,越来越多的软件企业进入SaaS(Software as aService,软件即服务)市场,降低成本提高效益成为SaaS提供商迫切需要解决的问题。把传统软件迁移成SaaS软
数字矿山的提出象征着我国矿业已进入数字化矿产科技时代。如何顺应甚至超越世界矿产科研潮流就成为当前国内外研究领域的热点之一。数字矿山不同于经典矿业,它必须有计算机和
人脸表情识别是一个非常具有挑战性和非常有意义的课题,它不仅涉及到计算机视觉、心理学、生理学等相关学科,还涉及到模式识别和图像处理技术等。随着科技的进步,人们对计算机的
目前,互联网中存在大量的电子科技论文档案,如何管理和分析这些文档已经变得越来越重要。本文以此作为切入点,着重挖掘论文集中潜在的研究主题以及主题的动态演进规律。本文采用
信息服务是用不同的方式向用户提供所需信息,帮助用户解决问题的一项活动。随着信息技术的飞速发展,其内涵和外延也正在不断地扩展和变化。针对我国农业生产、管理、科研等各方
传统的电量抄读及结算是依靠人工定期到现场抄取数据,存在效率低、成本高、无法监控等问题,在实时性、准确性和应用性等方面也存在诸多不足之处,已经无法满足现代化城市的需要。