论文部分内容阅读
摘 要:介绍了数据仓库技术极其相关的数据挖掘技术和OLAP技术,分析了航材保障决策支持系统的组成,并结合航材工作实际情况构建了航材决策支持系统。
关键词:数据仓库;航材保障;决策支持。
一、引言
目前,航材系统的决策活动大多是基于传统数据库的,这样的数据库主要是面向业务操作设计的,虽然能进行高效的录入、查询、统计等日常事务操作和管理,但不能很好地满足用户复杂的查询和分析,而且不能利用现有的数据来预测航材未来的需求趋势,以更好地帮助决策人员进行决策和研究。因此为了满足决策支持的需要,以适应未来高技术条件下的局部战争对我军航材保障适时、适地、适量的要求,我们需要对数据库中的数据进行再加工,以形成一个数据仓库,并在此基础上综合运用数据挖掘技术和联机分析技术,构建航材保障决策支持系统,从而形成一个综合的面向首长和辅助决策的、面向战时指挥控制的分析环境,以更好地支持决策分析。
二、相关技术分析
基于数据仓库的航材决策支持系统的相关技术主要包括数据仓库技术、联机分析处理技术和数据挖掘技术。
1、数据仓库技术
数据仓库(Data Warehouse)就是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合。数据仓库中的数据来自于联机的事务处理系统、异步的外部数据源、脱机的历史业务数据等。传统数据库主要要面向业务处理,而数据仓库作为一个联机的系统,是专门为分析统计和决策支持应用服务的,通过它可以满足决策支持和联机分析应用的一切要求。
一个完整的数据仓库系统,主要包括三个基本部分:
(1)数据获取:这部分负责从外部数据源中获取数据,数据被区分出来,进行拷贝或重新定义格式等处理后,准备装入数据仓库。
(2)数据存储和管理:这个部分负责数据仓库的内部维护和管理,提供的服务包括数据存储的组织、数据的维护、数据的分发及数据仓库的例行维护等,这些工作需要利用数据库管理系统(DBMS)的功能。
(3)信息访问:这个部分属于数据仓库的前段。面向不同种类的最终用户。主要有查询生成工具、多维分析工具和数据挖掘工具等工具集组成,以实现决策支持系统的各种要求。
2、联机分析处理
联机分析处理(On-Line Analysis Process,OLAP)是在数据仓库基础上进行深入的数据分析,获取关键信息以支持决策分析的主要手段之一。它是指一系列交互的查询过程,在查询过程中需要将数据库在不同层次、不同阶段上进行分析处理,从而获得高度归纳的信息。OLAP的目标是满足决策支持或者多维环境特定的查询和报表需求,它的技术核心是维这个概念,因此OLAP也可以说是多维数据分析工具的集合。
数据仓库和OLAP的结合使最终用户能真正利用决策支持系统的工具从航材信息中心随机的查询统计,又可以实现多维数据分析,进行时间趋势分析,从而把数据仓库变成知识库,为决策者提供完整、及时、准确、明了的决策支持信息。
3、数据挖掘技术
数据挖掘被认为是知识发现(KDD)的一个特定步骤,它是用专门算法从数据中抽取模式(Pattern)。知识发现(KDD)是从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的高级处理过程。
数据挖掘技术充分利用了机器学习、人工智能、模糊逻辑、人工神经网络、分形几何等理论和方法。与数据挖掘关系密切的研究领域包括归纳学习(Inductive Learning)、机器学习(Machine Learning)和统计分析(Statistics)等。通过数据挖掘可以进行自动设计、划分类别、确定关联程度并预测航材的需求,帮助航材工作者调整保障方案,使航材保障实现数字化、信息化、智能化。
三、航材保障决策支持系统的体系结构
根据系统的设计目标,我们将航材保障决策支持系统按照功能分为五个部分:数据源层、数据提取层、数据仓库层、信息提取层和信息展现层,如下页的图1所示。
1、数据源层
数据源层包含了航材保障系统的大量历史数据,包括航材保障信息系统的数据库、数据文件、外单位的相关数据以及其它相关数据等等。
2、数据提取
数据提取层负责从数据源中提取数据,并对获得的源数据进行加工处理,从而将基础数据从面向应用转化为面向主题的数据。该部分根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换,对数据进行重新组织和加工,再装载到数据仓库中。
3、数据仓库
数据经过提取、加工净化后,需要存放在数据仓库中,形成只读数据库,以直接面向联机分析、数据挖掘。数据仓库的建立并不是要取代数据库,它要建立在较全面和完善的信息应用的基础上,以支持高层决策分析,而事务数据库在信息环境中承担的是日常操作性的任务。数据仓库通常独立于其它数据库,但有时把所有异构数据库都导入到数据仓库中非常困难。因此,我们可以把一个和多个事务性数据库导入到一个只读数据库,把它当作数据集市,直接在此基础上进行数据分析、数据挖掘。
4、信息提取
信息提取层不同于数据提取层,数据提取层是对原始数据进行处理,得到有价值的数据,而信息提取层是在此基础上,充分运用OLAP和数据挖掘等数据分析的工具,从数据中提取到对决策有用的信息。
5、信息展现
信息展现层负责为用户展现分析后的结果,并对展示的数据进行再分析利用,形成最后的分析报表。用户可以通过浏览层完成对多维数据结构的动态分析,查询各种定制的统计报表,使用各种模型进行分析预测等。
四、结束语
大量数据的产生和收集导致了信息爆炸,未来战争的信息化竞争趋势要求对这些数据进行实时的和深层次的分析。虽然现在有了更强大的存储和检索系统,但是使用者发现分析和使用所拥有的信息变得越来越困难。数据仓库提供了容纳大量信息的场所,但只有和OLAP技术、数据采掘技术结合起来构成决策支持系统才能最终解决用户的困惑,使用户能够从大量繁杂的数据中找出真正有价值的信息和知识。木文通过对数据仓库及其相关的OLAP技术和数据挖掘技术的分析,在此基础上结合航材保障工作的实际情况构建了航材保障决策支持系统,科学地帮助航材工作者分析航材数据以获得对决策有用的信息,从而可以大大提高航材保障的工作效率及效益。
关键词:数据仓库;航材保障;决策支持。
一、引言
目前,航材系统的决策活动大多是基于传统数据库的,这样的数据库主要是面向业务操作设计的,虽然能进行高效的录入、查询、统计等日常事务操作和管理,但不能很好地满足用户复杂的查询和分析,而且不能利用现有的数据来预测航材未来的需求趋势,以更好地帮助决策人员进行决策和研究。因此为了满足决策支持的需要,以适应未来高技术条件下的局部战争对我军航材保障适时、适地、适量的要求,我们需要对数据库中的数据进行再加工,以形成一个数据仓库,并在此基础上综合运用数据挖掘技术和联机分析技术,构建航材保障决策支持系统,从而形成一个综合的面向首长和辅助决策的、面向战时指挥控制的分析环境,以更好地支持决策分析。
二、相关技术分析
基于数据仓库的航材决策支持系统的相关技术主要包括数据仓库技术、联机分析处理技术和数据挖掘技术。
1、数据仓库技术
数据仓库(Data Warehouse)就是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合。数据仓库中的数据来自于联机的事务处理系统、异步的外部数据源、脱机的历史业务数据等。传统数据库主要要面向业务处理,而数据仓库作为一个联机的系统,是专门为分析统计和决策支持应用服务的,通过它可以满足决策支持和联机分析应用的一切要求。
一个完整的数据仓库系统,主要包括三个基本部分:
(1)数据获取:这部分负责从外部数据源中获取数据,数据被区分出来,进行拷贝或重新定义格式等处理后,准备装入数据仓库。
(2)数据存储和管理:这个部分负责数据仓库的内部维护和管理,提供的服务包括数据存储的组织、数据的维护、数据的分发及数据仓库的例行维护等,这些工作需要利用数据库管理系统(DBMS)的功能。
(3)信息访问:这个部分属于数据仓库的前段。面向不同种类的最终用户。主要有查询生成工具、多维分析工具和数据挖掘工具等工具集组成,以实现决策支持系统的各种要求。
2、联机分析处理
联机分析处理(On-Line Analysis Process,OLAP)是在数据仓库基础上进行深入的数据分析,获取关键信息以支持决策分析的主要手段之一。它是指一系列交互的查询过程,在查询过程中需要将数据库在不同层次、不同阶段上进行分析处理,从而获得高度归纳的信息。OLAP的目标是满足决策支持或者多维环境特定的查询和报表需求,它的技术核心是维这个概念,因此OLAP也可以说是多维数据分析工具的集合。
数据仓库和OLAP的结合使最终用户能真正利用决策支持系统的工具从航材信息中心随机的查询统计,又可以实现多维数据分析,进行时间趋势分析,从而把数据仓库变成知识库,为决策者提供完整、及时、准确、明了的决策支持信息。
3、数据挖掘技术
数据挖掘被认为是知识发现(KDD)的一个特定步骤,它是用专门算法从数据中抽取模式(Pattern)。知识发现(KDD)是从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的高级处理过程。
数据挖掘技术充分利用了机器学习、人工智能、模糊逻辑、人工神经网络、分形几何等理论和方法。与数据挖掘关系密切的研究领域包括归纳学习(Inductive Learning)、机器学习(Machine Learning)和统计分析(Statistics)等。通过数据挖掘可以进行自动设计、划分类别、确定关联程度并预测航材的需求,帮助航材工作者调整保障方案,使航材保障实现数字化、信息化、智能化。
三、航材保障决策支持系统的体系结构
根据系统的设计目标,我们将航材保障决策支持系统按照功能分为五个部分:数据源层、数据提取层、数据仓库层、信息提取层和信息展现层,如下页的图1所示。
1、数据源层
数据源层包含了航材保障系统的大量历史数据,包括航材保障信息系统的数据库、数据文件、外单位的相关数据以及其它相关数据等等。
2、数据提取
数据提取层负责从数据源中提取数据,并对获得的源数据进行加工处理,从而将基础数据从面向应用转化为面向主题的数据。该部分根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换,对数据进行重新组织和加工,再装载到数据仓库中。
3、数据仓库
数据经过提取、加工净化后,需要存放在数据仓库中,形成只读数据库,以直接面向联机分析、数据挖掘。数据仓库的建立并不是要取代数据库,它要建立在较全面和完善的信息应用的基础上,以支持高层决策分析,而事务数据库在信息环境中承担的是日常操作性的任务。数据仓库通常独立于其它数据库,但有时把所有异构数据库都导入到数据仓库中非常困难。因此,我们可以把一个和多个事务性数据库导入到一个只读数据库,把它当作数据集市,直接在此基础上进行数据分析、数据挖掘。
4、信息提取
信息提取层不同于数据提取层,数据提取层是对原始数据进行处理,得到有价值的数据,而信息提取层是在此基础上,充分运用OLAP和数据挖掘等数据分析的工具,从数据中提取到对决策有用的信息。
5、信息展现
信息展现层负责为用户展现分析后的结果,并对展示的数据进行再分析利用,形成最后的分析报表。用户可以通过浏览层完成对多维数据结构的动态分析,查询各种定制的统计报表,使用各种模型进行分析预测等。
四、结束语
大量数据的产生和收集导致了信息爆炸,未来战争的信息化竞争趋势要求对这些数据进行实时的和深层次的分析。虽然现在有了更强大的存储和检索系统,但是使用者发现分析和使用所拥有的信息变得越来越困难。数据仓库提供了容纳大量信息的场所,但只有和OLAP技术、数据采掘技术结合起来构成决策支持系统才能最终解决用户的困惑,使用户能够从大量繁杂的数据中找出真正有价值的信息和知识。木文通过对数据仓库及其相关的OLAP技术和数据挖掘技术的分析,在此基础上结合航材保障工作的实际情况构建了航材保障决策支持系统,科学地帮助航材工作者分析航材数据以获得对决策有用的信息,从而可以大大提高航材保障的工作效率及效益。