论文部分内容阅读
摘 要:首先介绍ETL技术和SSIS组件,然后依据一个图书借阅数据清理的课题来展开如何利用SSIS的可视化环境对数据进行ETL的过程。以通过实际的课题操作来介绍SSIS的重要对象的使用方法。
关键词:SSIS ETL 图书借阅数据
中图分类号:G251 文献标识码:A 文章编号:1672-3791(2011)09(a)-0022-01
1 ETL的概念
ETL,是Extraction-Transformation-Loading的缩写,是商业智能(BI)的重要组成部分。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
2 SSIS概念、用途及重要对象
2.1 SSIS概念
SSIS是用来做数据集成的服务组件,它是用于生产企业级数据集成和数据转换解决方案的平台。
2.2 SSIS典型用途包括
2.2.1 實现数据的跨平台存储
数据通常存储在很多个不同的数据存储系统中,从所有源中提取数据并将其合并到单个一致的数据集中确实有一定的难度。SSIS可以连接到各种各样的数据源,包括单个包中的多个源。包可以使用.NET和OLEDB访问接口连接到关系数据库,还可以使用ODBC驱动程序连接到多个早期数据库。包还可以连接到平面文件、Excel文件和AnalysisServices项目。
2.2.2 为数据仓库提供数据
SSIS作为ETL在SQLServer中的实现渠道,是为数据仓库提供数据的主要来源。SSIS包含一个可直接将数据从平面文件大容量加载到SQLServer表和视图中的任务,还包含一个目标组件,该组件可以在数据转换过程的最后一步将数据大容量加载到SQLServer数据库中。
2.2.3 整理和标准化数据
SSIS包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。
2.3 SSIS重要对象
SSIS的重要对象包括包、任务、容器、数据流任务。包保存工作单元,任务定义包控制流中执行的工作单元,容器则将多个相关联的任务集合在一起管理,数据流任务则是实现数据转换的重要步骤。
3 对图书借阅数据的清理和加载
数据来源于SQLServer中LibraryOLTP数据库,数据库中包含图书分类表、经手人、借还书信息表及其相应数据。并根据需求已经建立好数据仓库LibraryDW。要通过SSIS创建ETL应用将LibraryOLTP中的时间、日期、借阅人信息、图书信息等进行清理并加载入数据仓库LibraryDW。
3.1 建立包
建立名为LibraryDTS.dtsx的包。它是经检索、执行和保存得工作单元。包中会有控制流,用来控制各个人物的先后执行顺序,还可包含若干个数据流,用来控制从数据源地址到数据目标地址的数据流动和转换。
3.2 建立数据源
抽取的ADO源为LibraryOLTP,目标ADO源为LibraryDW,查找比对源为OLEDB源LibraryDW。
3.3 建立控制流和数据流任务
根据源数据的特点,控制流根据图书的借阅日期来组织的,从借还书信息表中使用借阅日期为条件逐月读取信息,包括图书的类别、经手人、图书信息等等。控制流如图1。
在每个加载数据的控制流项中,都包含着数据流任务。将数据流任务添加到包控制流使得包可以提取、转换、加载数据。
以加载日期数据为例,先加载数据源数据,然后对日期数据进行相应的转换,比对查找后将正确的日期数据目标数据库。
3.4 最后执行包,则可以完成将数据清理、转换加载到数据仓库的ETL过程
4 结语
微软的SSIS凭借着可视化环境,简单的操作方式,成为近年来商业智能项目中大量采用的工具之一。本文简单介绍了SSIS在图书借阅数据清理、转换、加载中的应用。随着数据仓库技术的普及和智能商业的发展,SSIS将会得到更广泛的应用。
参考文献
[1] 罗新.基于SQLServer2005的Web日志挖掘应用研究[J].现代计算机,2008,12:126～128.
[2] 袁琳琳,陈笑蓉.基于SSIS的商业智能平台设计与实现[J].信息与电脑(理论版),2010,9:67.
关键词:SSIS ETL 图书借阅数据
中图分类号:G251 文献标识码:A 文章编号:1672-3791(2011)09(a)-0022-01
1 ETL的概念
ETL,是Extraction-Transformation-Loading的缩写,是商业智能(BI)的重要组成部分。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
2 SSIS概念、用途及重要对象
2.1 SSIS概念
SSIS是用来做数据集成的服务组件,它是用于生产企业级数据集成和数据转换解决方案的平台。
2.2 SSIS典型用途包括
2.2.1 實现数据的跨平台存储
数据通常存储在很多个不同的数据存储系统中,从所有源中提取数据并将其合并到单个一致的数据集中确实有一定的难度。SSIS可以连接到各种各样的数据源,包括单个包中的多个源。包可以使用.NET和OLEDB访问接口连接到关系数据库,还可以使用ODBC驱动程序连接到多个早期数据库。包还可以连接到平面文件、Excel文件和AnalysisServices项目。
2.2.2 为数据仓库提供数据
SSIS作为ETL在SQLServer中的实现渠道,是为数据仓库提供数据的主要来源。SSIS包含一个可直接将数据从平面文件大容量加载到SQLServer表和视图中的任务,还包含一个目标组件,该组件可以在数据转换过程的最后一步将数据大容量加载到SQLServer数据库中。
2.2.3 整理和标准化数据
SSIS包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。
2.3 SSIS重要对象
SSIS的重要对象包括包、任务、容器、数据流任务。包保存工作单元,任务定义包控制流中执行的工作单元,容器则将多个相关联的任务集合在一起管理,数据流任务则是实现数据转换的重要步骤。
3 对图书借阅数据的清理和加载
数据来源于SQLServer中LibraryOLTP数据库,数据库中包含图书分类表、经手人、借还书信息表及其相应数据。并根据需求已经建立好数据仓库LibraryDW。要通过SSIS创建ETL应用将LibraryOLTP中的时间、日期、借阅人信息、图书信息等进行清理并加载入数据仓库LibraryDW。
3.1 建立包
建立名为LibraryDTS.dtsx的包。它是经检索、执行和保存得工作单元。包中会有控制流,用来控制各个人物的先后执行顺序,还可包含若干个数据流,用来控制从数据源地址到数据目标地址的数据流动和转换。
3.2 建立数据源
抽取的ADO源为LibraryOLTP,目标ADO源为LibraryDW,查找比对源为OLEDB源LibraryDW。
3.3 建立控制流和数据流任务
根据源数据的特点,控制流根据图书的借阅日期来组织的,从借还书信息表中使用借阅日期为条件逐月读取信息,包括图书的类别、经手人、图书信息等等。控制流如图1。
在每个加载数据的控制流项中,都包含着数据流任务。将数据流任务添加到包控制流使得包可以提取、转换、加载数据。
以加载日期数据为例,先加载数据源数据,然后对日期数据进行相应的转换,比对查找后将正确的日期数据目标数据库。
3.4 最后执行包,则可以完成将数据清理、转换加载到数据仓库的ETL过程
4 结语
微软的SSIS凭借着可视化环境,简单的操作方式,成为近年来商业智能项目中大量采用的工具之一。本文简单介绍了SSIS在图书借阅数据清理、转换、加载中的应用。随着数据仓库技术的普及和智能商业的发展,SSIS将会得到更广泛的应用。
参考文献
[1] 罗新.基于SQLServer2005的Web日志挖掘应用研究[J].现代计算机,2008,12:126～128.
[2] 袁琳琳,陈笑蓉.基于SSIS的商业智能平台设计与实现[J].信息与电脑(理论版),2010,9:67.