论文部分内容阅读
摘 要：本文介绍了在数字化校园建设过程中，如何利用异构数据集成技术构建数据中心。
关键词：数字化校园 异构数据集成 数据中心
中图分类号：G250.74 文献标识码：A 文章编号：1673-8454（2008）19-0026-03
一、引言
数字校园是以网络为基础，利用先进的信息化手段和工具，实现从环境（包括设备、教室等）、资源（如图书、讲义、课件等）到活动（包括教、学、管理、服务、办公等）的全部数字化，在传统校园的基础上构建一个数字空间以拓展现实校园的时间和空间维度，从而提升了传统校园的效率，扩展了传统校园的功能，最终实现教育过程的全面信息化。
但是由于历史的原因，学校各个部门之间已经存在许多子系统，而这些子系统各自采用了不同的数据库系统，采用了不同的应用开发技术。各子系统具有各自的用户管理和授权机制，各个应用系统的数据之间具备很强的互补性，但同时相互之间又缺乏数据共享关系和通常的交换途径，作为学校的管理层无法获得一个整体的数据视图，从而也就无法进行数据的全面分析和利用。因此，迫切需要建立一个统一的信息集成平台对分散在各应用系统中的异构数据进行整合，使校园内的各个信息管理系统达到无缝连接。同时，还要实现在应用层面上的整合，使得教师、学生和校领导能够在一个单一的应用界面中访问到所有被授权访问的应用。
本文主要是在某学校数字化校园信息平台上，研究各个子系统之间的数据集成问题。着重研究数据之间的迁移和数据库之间同步的实现方法。
三、方案概述
本方案中我们利用IBM在信息管理领域的最新产品WebShpere Information Integrator（WII）建立一个信息集成访问接口，建立一个逻辑上集中、物理上集中存储结合分布存储的校园综合信息平台，WII 将会建立一个可读写的双向访问接口，在WII所提供的访问接口的支持下，就可以在一个整体数据库的逻辑视图下（这一视图是跨越当前校园内各个业务系统之上的），来实现新的面向校园综合业务管理的数据流程和业务流程，实现整个数字校园综合业务系统的开发和部署。
同时考虑到需要建设一个以教育部数据标准为校内数据标准的公共数据平台（ORACLE 10G），实现汇总全校的关键数据、作为各信息系统之间数据交换的中介和可基于该数据库开发所需的全校应用。
根据应用系统的分类和学校对数据的保密程度，制定了三种数据集成方案。
1．数据迁移方案
将一些原来单机版的数据库，如资产管理系统中的数据，迁移到公共数据平台中。
2．数据库同步方案
（1）对于不便于操作的数据库：主要是采用WII提供的联邦功能，通过包装器将各类数据源映射到公共数据平台中。
（2）对于其他数据库：主要是采用WII提供的复制功能，采用程序将数据抽取出来，通过中间的传输，最后加载到目的地。
3．预留接口
主要是为该学校新建项目在公共数据平台上预留接口。
四、具体的解决方案
1．数据迁移的解决办法
由于该学校资产系统采用的是早期的VFP产品，不能通过网络进行数据的同步，因此可通过WII提供的工具实现非关系型数据库与关系型数据库的集成整合。
首先将为Excel表格数据文件配置为ODBC数据源，同时在WII自身提供的DB2数据库创建资产数据库tl_zichan；然后创建非关系型包装器，系统根据我们先前所选择的数据源类型（ODBC），将自动为包装器查找到对应的包装器模块库（db2rcodbc.dll），此模块库是包装器的核心，包含所有用于完成DB2和ODBC数据源之间交互的例程；创建昵称后就可以访问Excel数据源中对应的数据表。
2．数据库同步的解决办法
（1）联邦是利用SQL或产生SQL的工具（整合的开发环境、报表、分析工具）来访问、整合及处理分布式和异构的数据。通过部署这一模式，可以将所有的异构数据源（分布在各个业务系统中的Oracle、Sybase、SQL Server等），统一成一个数据库读写访问接口，应用开发者只需要使用WII提供的一套访问接口就可以实现与各个异构数据的连接、访问、处理操作，简化编程难度，从而开发出跨越校园内各个业务数据的综合业务功能。
由于该学校教务管理系统陈旧，无法在其后台数据库上操作，创建控制文件和触发器，因此采用联邦的方式进行数据同步。首先我们利用WII的联邦数据库技术，将以下数据库表按照下列规则进行映射：
1）把教务管理数据库中的课程设置资料数据库表，映射到利用WII建立的公共数据平台中的数据库表上；
2）人事管理系统数据库中的教师资料数据表，映射到利用WII建立的公共数据平台中的数据库表上；
3）学生管理系统数据库中的学生选课记录数据库表，映射到利用WII建立的公共数据平台中的数据库表上。
当学生通过网上选课系统进行课程选修时，就可以在一个查询视图上将课程情况（分布在教务系统中）、任课教师情况（分布在人事管理系统中）全部获得，帮助其进行课程选修。确认选修课程后，可以通过WII提供的双向读写接口，将选课记录直接写入学生管理系统中。
（2）复制通过两个应用CAPTURE和APPLY来实现。CAPTURE用于获取数据源数据的增量。对DB2家族的数据源而言，是通过读取日志信息获取。APPLY是将数据源的增量应用到数据目标。若数据目标是非DB2的数据库，则通过结合数据联邦技术先将数据目标在信息整合平台建立昵称（ＮＩＣＫＮＡＭＥ），对昵称进行操作即可完成完整的数据复制过程。如果数据源是非DB2的数据库，其获取数据增量的CAPTURE由数据源的TRIGGER机制实现，这些TRIGGER由WII的复制机制维护，见图2。
由于该学校公共数据平台采用ORACLE，并且人事数据库采用的是SQL SERVER数据库，为了安全起见，我们首先在人事数据库中新建一个备份库，然后对人事数据表建触发器，保证人事信息实时同步到备份库中。之后将备份库作为数据源配成ODBC数据源，创建关系型包装器、SERVER、用户映射和昵称，至此已将人事数据库引入了联邦数据库。
同样，我们也能将ORACLE数据库引入到联邦数据库中。下面介绍一下数据复制的过程：首先创建CAPTRUE服务器，由于是非DB2的复制，所以需要选择人事处源端的WRAPPER名；选择需要注册NICKNAME的表；以上步骤实现了从源端抓取哪些表。下面就是将数据如何放到目标数据库中，创建APPLY服务器，接下来是创建源与目标的预定集，定义APPLY控制服务器别名、集合名、APPLY限定符、CAPTRUE控制服务器别名、CAPTRUE模式和目标服务器别名，在时间表中设置需要同步的时间点；至此，人事数据库与公共数据库同步设定完成。
五、结束语
数据中心的建立是校园信息化过程中的重要一环，如何在最大程度保护和利用现有子系统的基础上，建立一个合理、适用的数据中心则是实现校园网统一规划、疏导全校数据流，使整个校园网络信息管理系统可持续发展并上升到一个新的高度的根本保证。数据中心将校园中分散的数据资源集中存放，提高了数据的共享性，加强了数据的安全性。本文分析了数据中心在数字化校园中的重要意义，提出了应用异构数据集成技术构建数据中心的方案。?筅
参考文献：
[1]王馨迪.网络数据库[M].北京：清华大学出版社,2004.9.
[2]严慰敏.数据结构及应用算法教程[M].北京：清华大学出版社,2001.2.
[3]王珊.数据库系统原理教程[M].北京：清华大学出版社，1998.7.
[4]Erik Pace Birkholz著.赵彦玲等译.Microsoft，UNIX及Oracle主机和网络安全[M].北京：电子工业出版社,2004.7.
[5]肖伟,赵嵩正.异构环境下Oracle数据移植问题研究[J].自动化技术与计算机技术,2004(2).
[6]肖振春.通过 WebSphere Federation Server 实现 Excel 和关系型数据库的整合,IBM 中国软件开发中心,2007.7.
关键词：数字化校园 异构数据集成 数据中心
中图分类号：G250.74 文献标识码：A 文章编号：1673-8454（2008）19-0026-03
一、引言
数字校园是以网络为基础，利用先进的信息化手段和工具，实现从环境（包括设备、教室等）、资源（如图书、讲义、课件等）到活动（包括教、学、管理、服务、办公等）的全部数字化，在传统校园的基础上构建一个数字空间以拓展现实校园的时间和空间维度，从而提升了传统校园的效率，扩展了传统校园的功能，最终实现教育过程的全面信息化。
但是由于历史的原因，学校各个部门之间已经存在许多子系统，而这些子系统各自采用了不同的数据库系统，采用了不同的应用开发技术。各子系统具有各自的用户管理和授权机制，各个应用系统的数据之间具备很强的互补性，但同时相互之间又缺乏数据共享关系和通常的交换途径，作为学校的管理层无法获得一个整体的数据视图，从而也就无法进行数据的全面分析和利用。因此，迫切需要建立一个统一的信息集成平台对分散在各应用系统中的异构数据进行整合，使校园内的各个信息管理系统达到无缝连接。同时，还要实现在应用层面上的整合，使得教师、学生和校领导能够在一个单一的应用界面中访问到所有被授权访问的应用。
本文主要是在某学校数字化校园信息平台上，研究各个子系统之间的数据集成问题。着重研究数据之间的迁移和数据库之间同步的实现方法。
三、方案概述
本方案中我们利用IBM在信息管理领域的最新产品WebShpere Information Integrator（WII）建立一个信息集成访问接口，建立一个逻辑上集中、物理上集中存储结合分布存储的校园综合信息平台，WII 将会建立一个可读写的双向访问接口，在WII所提供的访问接口的支持下，就可以在一个整体数据库的逻辑视图下（这一视图是跨越当前校园内各个业务系统之上的），来实现新的面向校园综合业务管理的数据流程和业务流程，实现整个数字校园综合业务系统的开发和部署。
同时考虑到需要建设一个以教育部数据标准为校内数据标准的公共数据平台（ORACLE 10G），实现汇总全校的关键数据、作为各信息系统之间数据交换的中介和可基于该数据库开发所需的全校应用。
根据应用系统的分类和学校对数据的保密程度，制定了三种数据集成方案。
1．数据迁移方案
将一些原来单机版的数据库，如资产管理系统中的数据，迁移到公共数据平台中。
2．数据库同步方案
（1）对于不便于操作的数据库：主要是采用WII提供的联邦功能，通过包装器将各类数据源映射到公共数据平台中。
（2）对于其他数据库：主要是采用WII提供的复制功能，采用程序将数据抽取出来，通过中间的传输，最后加载到目的地。
3．预留接口
主要是为该学校新建项目在公共数据平台上预留接口。
四、具体的解决方案
1．数据迁移的解决办法
由于该学校资产系统采用的是早期的VFP产品，不能通过网络进行数据的同步，因此可通过WII提供的工具实现非关系型数据库与关系型数据库的集成整合。
首先将为Excel表格数据文件配置为ODBC数据源，同时在WII自身提供的DB2数据库创建资产数据库tl_zichan；然后创建非关系型包装器，系统根据我们先前所选择的数据源类型（ODBC），将自动为包装器查找到对应的包装器模块库（db2rcodbc.dll），此模块库是包装器的核心，包含所有用于完成DB2和ODBC数据源之间交互的例程；创建昵称后就可以访问Excel数据源中对应的数据表。
2．数据库同步的解决办法
（1）联邦是利用SQL或产生SQL的工具（整合的开发环境、报表、分析工具）来访问、整合及处理分布式和异构的数据。通过部署这一模式，可以将所有的异构数据源（分布在各个业务系统中的Oracle、Sybase、SQL Server等），统一成一个数据库读写访问接口，应用开发者只需要使用WII提供的一套访问接口就可以实现与各个异构数据的连接、访问、处理操作，简化编程难度，从而开发出跨越校园内各个业务数据的综合业务功能。
由于该学校教务管理系统陈旧，无法在其后台数据库上操作，创建控制文件和触发器，因此采用联邦的方式进行数据同步。首先我们利用WII的联邦数据库技术，将以下数据库表按照下列规则进行映射：
1）把教务管理数据库中的课程设置资料数据库表，映射到利用WII建立的公共数据平台中的数据库表上；
2）人事管理系统数据库中的教师资料数据表，映射到利用WII建立的公共数据平台中的数据库表上；
3）学生管理系统数据库中的学生选课记录数据库表，映射到利用WII建立的公共数据平台中的数据库表上。
当学生通过网上选课系统进行课程选修时，就可以在一个查询视图上将课程情况（分布在教务系统中）、任课教师情况（分布在人事管理系统中）全部获得，帮助其进行课程选修。确认选修课程后，可以通过WII提供的双向读写接口，将选课记录直接写入学生管理系统中。
（2）复制通过两个应用CAPTURE和APPLY来实现。CAPTURE用于获取数据源数据的增量。对DB2家族的数据源而言，是通过读取日志信息获取。APPLY是将数据源的增量应用到数据目标。若数据目标是非DB2的数据库，则通过结合数据联邦技术先将数据目标在信息整合平台建立昵称（ＮＩＣＫＮＡＭＥ），对昵称进行操作即可完成完整的数据复制过程。如果数据源是非DB2的数据库，其获取数据增量的CAPTURE由数据源的TRIGGER机制实现，这些TRIGGER由WII的复制机制维护，见图2。
由于该学校公共数据平台采用ORACLE，并且人事数据库采用的是SQL SERVER数据库，为了安全起见，我们首先在人事数据库中新建一个备份库，然后对人事数据表建触发器，保证人事信息实时同步到备份库中。之后将备份库作为数据源配成ODBC数据源，创建关系型包装器、SERVER、用户映射和昵称，至此已将人事数据库引入了联邦数据库。
同样，我们也能将ORACLE数据库引入到联邦数据库中。下面介绍一下数据复制的过程：首先创建CAPTRUE服务器，由于是非DB2的复制，所以需要选择人事处源端的WRAPPER名；选择需要注册NICKNAME的表；以上步骤实现了从源端抓取哪些表。下面就是将数据如何放到目标数据库中，创建APPLY服务器，接下来是创建源与目标的预定集，定义APPLY控制服务器别名、集合名、APPLY限定符、CAPTRUE控制服务器别名、CAPTRUE模式和目标服务器别名，在时间表中设置需要同步的时间点；至此，人事数据库与公共数据库同步设定完成。
五、结束语
数据中心的建立是校园信息化过程中的重要一环，如何在最大程度保护和利用现有子系统的基础上，建立一个合理、适用的数据中心则是实现校园网统一规划、疏导全校数据流，使整个校园网络信息管理系统可持续发展并上升到一个新的高度的根本保证。数据中心将校园中分散的数据资源集中存放，提高了数据的共享性，加强了数据的安全性。本文分析了数据中心在数字化校园中的重要意义，提出了应用异构数据集成技术构建数据中心的方案。?筅
参考文献：
[1]王馨迪.网络数据库[M].北京：清华大学出版社,2004.9.
[2]严慰敏.数据结构及应用算法教程[M].北京：清华大学出版社,2001.2.
[3]王珊.数据库系统原理教程[M].北京：清华大学出版社，1998.7.
[4]Erik Pace Birkholz著.赵彦玲等译.Microsoft，UNIX及Oracle主机和网络安全[M].北京：电子工业出版社,2004.7.
[5]肖伟,赵嵩正.异构环境下Oracle数据移植问题研究[J].自动化技术与计算机技术,2004(2).
[6]肖振春.通过 WebSphere Federation Server 实现 Excel 和关系型数据库的整合,IBM 中国软件开发中心,2007.7.