论文部分内容阅读
电信企业数据仓库建设的需求
电信行业目前主要的数据来自于计费系统和网管数据。电信系统经过多年的运行，已经存储了大量的历史数据。这些数据中蕴涵着丰富的信息，从中可以了解企业在电信市场经营过程中所处的态势、竞争对手的经营形势、客户群的分布状况、消费特征、企业经营发展的趋势等，对其进行分析处理可以得到很多令人欣喜的结论。强大的数据处理能力，加上丰富的企业数据，可以有力地促进企业经营和竞争。
目前，企业信息化建设呈现出“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。面对激烈的市场竞争，许多大型企业纷纷实施“以客户为中心，以服务求发展”的经营策略。如何优化客户关系，增强企业的竞争优势已经成为现代企业关注的焦点。现有的应用系统往往以“产品”为中心，以“单据（票证）”处理为基础，是面向联机事务处理（Online Transaction Processing，简称OLTP）的系统，而以客户为中心的经营管理模式要求对现有业务系统的数据进行有效的集成并加以重组，建立面向联机分析处理（Online Analysis Processing，简称OLAP）的系统。通过分析客户的行为，掌握不同类型客户的特征，进而为客户提供更加优质的服务，尤其是个性化的服务，同时全面掌握并理解、分析企业业务的发生情况，充分发挥企业现已积累的数据，为各级管理人员提供科学化管理和决策的有力依据，以提高企业的经营业绩，保证利润的持续增长。
面对纷繁复杂的市场竞争，众多企业立足于多年积累的数据和自身的核心业务，提出了建立企业级数据仓库的规划和实施方案，为企业的进一步发展奠定基础。
企业数据仓库系统的总体结构
一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分
从系统结构看，电信行业数据仓库解决方案系统一般包括应用系统部分、中央数据仓库系统部分，数据源系统部分三大部分。如图所示：
电信行业数据仓库解决方案数据源主要来自电信各业务系统，包括计费系统、营业系统、客服系统、财务系统、结算系统、网管系统、112系统、114系统、电信网络资源管理系统以及其它系统，此外数据源还有来自电信系统外的数据，如人口统计、社会各企业的财务数据、银行数据等。
电信企业数据仓库系统体系结构
数据源：企业在经营分析与决策支持系统的建设时，必须将遗留系统(Legacy System)进行高效全面的集成。由于遗留系统是在企业发展的不同时期建设的，往往缺乏全局规划，所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等，形成了所谓的信息孤岛。
系统中采用异种数据源企业应用集成接口，来实现对异种数据源的透明访问，包括数据源元数据访问及业务操作数据访问。数据源分为在线数据源和离线数据源，在线数据源是指允许在线抽取的业务数据源，如营业数据；离线数据源是指不允许直接在线抽取的数据源，如计费样单数据就是采用以脱机文件数据格式，及FTP方式集成进系统。
对数据源实现元数据级的管理，数据源的连接类型(ODBC、OLEDB、JDBC、Native)、连接字符串，以及数据结构信息都以元数据的形式存储于元数据库中，通过控制台对其进行业务语义定义，使用户对整个企业的信息系统有了全面的掌握。
ODS层的设计：操作数据存储ODS(Operation Data Storage)是一个集成了来自不同数据库数据的环境。其目的是为终端用户提供一致的企业数据集成视图。它可以帮助用户轻松应对跨多个商业功能的操作挑战，是面向主题的、集成的、近实时的数据存储。
设计ODS层的目的在于改善了对关键操作数据库的存取，用户能获得收益、客户等主题的企业级完整视图，有利于更好地通观全局。设计ODS的核心是实现焦点主题全局试图应用，如企业的客户管理系统，可以建立以客户为中心的ODS客户主题视图，向上层提供高效的服务。而对于话费结算则采取了从综合结算系统中直接抽取到数据仓库的方式，抽取周期为结算周期，能完全满足决策分析的时间窗要求。
ETL过程的设计：数据抽取、转换和加载，是数据仓库实现过程中，数据由数据源系统向数据仓库加载的主要方法，整个数据处理过程如下：
数据抽取 从数据源系统抽取数据仓库系统所需的数据，数据抽取采用统一的接口，可以从数据库抽取数据，也可以从文件抽取。
数据转换 数据转换是指对抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、拆分、汇总等，保证来自不同系统、不同格式的数据和信息模型具有一致性和完整性，并按要求装入数据仓库。
数据加载 数据加载是将转换后的数据加载到数据仓库中，可以采用数据加载工具，也可以采用API编程进行数据加载。数据加载策略包括加载周期和数据追加策略，对于电信企业级应用，采用对ETL工具DataStage进行功能封装，向上提供监控与调度接口的方式。数据加载周期要综合考虑经营分析需求和系统加载的代价，对不同业务系统的数据采用不同的加载周期，但必须保持同一时间业务数据的完整性和一致性。
仓库模型设计：由于经营分析需求的不断变化，数据仓库中数据的存储必须采用主题分域的方式，及尽可能小的业务单元进行数据的组织和存储，以满足数据仓库的灵活性。此外，任何一个信息系统都具有整体性、结构性、层次性、相对性、可变性，数据仓库的目标逻辑结构的设计要体现这些特征。
例如，某电信运营商的业务可以按照不同的主题域分为八类：客户、账务、资源、服务、客服、营销、服务使用、结算。客户主题包含与客户相关的基本信息，如客户的自然属性(姓名、年龄、职业等)、分类信息(现有客户、潜在客户、大客户等)、重要属性信息(信用度、忠诚度、消费层次等)。
账务主题中包含了与客户相关的费用信息，如明细账单、综合账单、账本、账户、付费记录、销账流水等；资源主题中包含网络资源和服务资源信息及占用情况；服务主题包含产品、套餐、资费与优惠规则等的信息；客服主题包含与客户服务相关的部门信息、流程信息、分类信息等；营销主题包含销售机会、营销渠道、促销活动等相关信息；服务使用主题描述客户购买和使用电信服务产品的信息，包括用户、服务使用记录、清单等；结算主题包含结算清单、结算明细账单、合作服务方等信息。对于主题的建模采用星型结构，以事实表或概要表加相关维表构成。
元数据管理：元数据(Metadata)是关于数据、操纵数据的进程，以及应用程序的结构、意义的描述信息，其主要目标是提供数据资源的全面指南。元数据是描述数据仓库内数据结构和建立方法的数据，可将其按用途分为两类：技术元数据(Technical Metadata)、业务元数据(Business Metadata)和内联映射元数据(Inter-Mapping Metadata)。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库的数据，主要包括数据仓库结构的描述(各个主题的定义，星型模式或雪花型模式的描述定义等)、ODS层的企业数据模型描述(以描述关系表及其关联关系为形式)、对数据稽核规则的定义、数据集市定义描述与装载描述(包括Cube的维度、层次、度量以及相应事实表、概要表的抽取规则)。另外，安全认证数据也作为元数据的一个重要部分进行管理。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够理解数据仓库中的数据。业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所提供的分析方法及公式、报表信息。
内联映射元数据(Inter-Mapping Metadata)实现技术元数据与业务元数据的层间映射，使得信息系统的概念模型与物理模型相互独立，使企业的概念、业务模型重组，以及物理模型的变化相互透明。内联映射元数据从技术上为业务需求驱动、企业数据驱动的双驱动建设模型提供了重要保证,使信息系统的建设具有更高的灵活性与适应性。
专题数据挖掘：电信企业在长期信息化建设过程中积累了大量业务运营数据和业务管理数据，一般的企业数据量已超过TB级。市场的激烈竞争和管理的复杂性，决定了企业需要对客户关系、市场营销、产品工程、投资分析等方面的历史数据进行提取与分析，将数据转化为有用的信息。数据挖掘一般用于在海量数据集中发现间接、隐藏、新颖的规律，数据挖掘技术的优势在于，通过对数据集进行有限步骤的采集、整理、分析、推理、比较等分析手段，来揭露埋藏数据内部的有用信息。
以电信经营数据分类与预测分析数据挖掘专题为例，分类包括客户分类、网元分类等；预测包括客户发展分析与预测、业务量发展分析与预测、客户流失分析与预测、营销管理与销售机会分析与预测、市场竞争分析与预测、大客户分析与预测等。采用回归分析业务量进行预测，以2003年7月1日到29日的通话次数历史数据，预测2003年7月30日的通话次数，结果为：2003年7月30日的预测通话次数为31715.84323，2003年7月30日的实际通话次数为30926；取得了较好的预测准确率。
大型企业的数据仓库系统建设是一项复杂的系统工程，通过上述实例中的实施，用户形成了一套有自己特色的，涵盖企业客户、产品、账务等主题的数据模型，建立了企业级的数据仓库，并进行数据模型和数据仓库的运行验证，产生报表的速度、质量、数据分析结论都基本上达到数据仓库应有的效能，为企业的经营分析与决策提供了科学的依据。
电信行业目前主要的数据来自于计费系统和网管数据。电信系统经过多年的运行，已经存储了大量的历史数据。这些数据中蕴涵着丰富的信息，从中可以了解企业在电信市场经营过程中所处的态势、竞争对手的经营形势、客户群的分布状况、消费特征、企业经营发展的趋势等，对其进行分析处理可以得到很多令人欣喜的结论。强大的数据处理能力，加上丰富的企业数据，可以有力地促进企业经营和竞争。
目前，企业信息化建设呈现出“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。面对激烈的市场竞争，许多大型企业纷纷实施“以客户为中心，以服务求发展”的经营策略。如何优化客户关系，增强企业的竞争优势已经成为现代企业关注的焦点。现有的应用系统往往以“产品”为中心，以“单据（票证）”处理为基础，是面向联机事务处理（Online Transaction Processing，简称OLTP）的系统，而以客户为中心的经营管理模式要求对现有业务系统的数据进行有效的集成并加以重组，建立面向联机分析处理（Online Analysis Processing，简称OLAP）的系统。通过分析客户的行为，掌握不同类型客户的特征，进而为客户提供更加优质的服务，尤其是个性化的服务，同时全面掌握并理解、分析企业业务的发生情况，充分发挥企业现已积累的数据，为各级管理人员提供科学化管理和决策的有力依据，以提高企业的经营业绩，保证利润的持续增长。
面对纷繁复杂的市场竞争，众多企业立足于多年积累的数据和自身的核心业务，提出了建立企业级数据仓库的规划和实施方案，为企业的进一步发展奠定基础。
企业数据仓库系统的总体结构
一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分
从系统结构看，电信行业数据仓库解决方案系统一般包括应用系统部分、中央数据仓库系统部分，数据源系统部分三大部分。如图所示：
电信行业数据仓库解决方案数据源主要来自电信各业务系统，包括计费系统、营业系统、客服系统、财务系统、结算系统、网管系统、112系统、114系统、电信网络资源管理系统以及其它系统，此外数据源还有来自电信系统外的数据，如人口统计、社会各企业的财务数据、银行数据等。
电信企业数据仓库系统体系结构
数据源：企业在经营分析与决策支持系统的建设时，必须将遗留系统(Legacy System)进行高效全面的集成。由于遗留系统是在企业发展的不同时期建设的，往往缺乏全局规划，所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等，形成了所谓的信息孤岛。
系统中采用异种数据源企业应用集成接口，来实现对异种数据源的透明访问，包括数据源元数据访问及业务操作数据访问。数据源分为在线数据源和离线数据源，在线数据源是指允许在线抽取的业务数据源，如营业数据；离线数据源是指不允许直接在线抽取的数据源，如计费样单数据就是采用以脱机文件数据格式，及FTP方式集成进系统。
对数据源实现元数据级的管理，数据源的连接类型(ODBC、OLEDB、JDBC、Native)、连接字符串，以及数据结构信息都以元数据的形式存储于元数据库中，通过控制台对其进行业务语义定义，使用户对整个企业的信息系统有了全面的掌握。
ODS层的设计：操作数据存储ODS(Operation Data Storage)是一个集成了来自不同数据库数据的环境。其目的是为终端用户提供一致的企业数据集成视图。它可以帮助用户轻松应对跨多个商业功能的操作挑战，是面向主题的、集成的、近实时的数据存储。
设计ODS层的目的在于改善了对关键操作数据库的存取，用户能获得收益、客户等主题的企业级完整视图，有利于更好地通观全局。设计ODS的核心是实现焦点主题全局试图应用，如企业的客户管理系统，可以建立以客户为中心的ODS客户主题视图，向上层提供高效的服务。而对于话费结算则采取了从综合结算系统中直接抽取到数据仓库的方式，抽取周期为结算周期，能完全满足决策分析的时间窗要求。
ETL过程的设计：数据抽取、转换和加载，是数据仓库实现过程中，数据由数据源系统向数据仓库加载的主要方法，整个数据处理过程如下：
数据抽取 从数据源系统抽取数据仓库系统所需的数据，数据抽取采用统一的接口，可以从数据库抽取数据，也可以从文件抽取。
数据转换 数据转换是指对抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、拆分、汇总等，保证来自不同系统、不同格式的数据和信息模型具有一致性和完整性，并按要求装入数据仓库。
数据加载 数据加载是将转换后的数据加载到数据仓库中，可以采用数据加载工具，也可以采用API编程进行数据加载。数据加载策略包括加载周期和数据追加策略，对于电信企业级应用，采用对ETL工具DataStage进行功能封装，向上提供监控与调度接口的方式。数据加载周期要综合考虑经营分析需求和系统加载的代价，对不同业务系统的数据采用不同的加载周期，但必须保持同一时间业务数据的完整性和一致性。
仓库模型设计：由于经营分析需求的不断变化，数据仓库中数据的存储必须采用主题分域的方式，及尽可能小的业务单元进行数据的组织和存储，以满足数据仓库的灵活性。此外，任何一个信息系统都具有整体性、结构性、层次性、相对性、可变性，数据仓库的目标逻辑结构的设计要体现这些特征。
例如，某电信运营商的业务可以按照不同的主题域分为八类：客户、账务、资源、服务、客服、营销、服务使用、结算。客户主题包含与客户相关的基本信息，如客户的自然属性(姓名、年龄、职业等)、分类信息(现有客户、潜在客户、大客户等)、重要属性信息(信用度、忠诚度、消费层次等)。
账务主题中包含了与客户相关的费用信息，如明细账单、综合账单、账本、账户、付费记录、销账流水等；资源主题中包含网络资源和服务资源信息及占用情况；服务主题包含产品、套餐、资费与优惠规则等的信息；客服主题包含与客户服务相关的部门信息、流程信息、分类信息等；营销主题包含销售机会、营销渠道、促销活动等相关信息；服务使用主题描述客户购买和使用电信服务产品的信息，包括用户、服务使用记录、清单等；结算主题包含结算清单、结算明细账单、合作服务方等信息。对于主题的建模采用星型结构，以事实表或概要表加相关维表构成。
元数据管理：元数据(Metadata)是关于数据、操纵数据的进程，以及应用程序的结构、意义的描述信息，其主要目标是提供数据资源的全面指南。元数据是描述数据仓库内数据结构和建立方法的数据，可将其按用途分为两类：技术元数据(Technical Metadata)、业务元数据(Business Metadata)和内联映射元数据(Inter-Mapping Metadata)。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库的数据，主要包括数据仓库结构的描述(各个主题的定义，星型模式或雪花型模式的描述定义等)、ODS层的企业数据模型描述(以描述关系表及其关联关系为形式)、对数据稽核规则的定义、数据集市定义描述与装载描述(包括Cube的维度、层次、度量以及相应事实表、概要表的抽取规则)。另外，安全认证数据也作为元数据的一个重要部分进行管理。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够理解数据仓库中的数据。业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所提供的分析方法及公式、报表信息。
内联映射元数据(Inter-Mapping Metadata)实现技术元数据与业务元数据的层间映射，使得信息系统的概念模型与物理模型相互独立，使企业的概念、业务模型重组，以及物理模型的变化相互透明。内联映射元数据从技术上为业务需求驱动、企业数据驱动的双驱动建设模型提供了重要保证,使信息系统的建设具有更高的灵活性与适应性。
专题数据挖掘：电信企业在长期信息化建设过程中积累了大量业务运营数据和业务管理数据，一般的企业数据量已超过TB级。市场的激烈竞争和管理的复杂性，决定了企业需要对客户关系、市场营销、产品工程、投资分析等方面的历史数据进行提取与分析，将数据转化为有用的信息。数据挖掘一般用于在海量数据集中发现间接、隐藏、新颖的规律，数据挖掘技术的优势在于，通过对数据集进行有限步骤的采集、整理、分析、推理、比较等分析手段，来揭露埋藏数据内部的有用信息。
以电信经营数据分类与预测分析数据挖掘专题为例，分类包括客户分类、网元分类等；预测包括客户发展分析与预测、业务量发展分析与预测、客户流失分析与预测、营销管理与销售机会分析与预测、市场竞争分析与预测、大客户分析与预测等。采用回归分析业务量进行预测，以2003年7月1日到29日的通话次数历史数据，预测2003年7月30日的通话次数，结果为：2003年7月30日的预测通话次数为31715.84323，2003年7月30日的实际通话次数为30926；取得了较好的预测准确率。
大型企业的数据仓库系统建设是一项复杂的系统工程，通过上述实例中的实施，用户形成了一套有自己特色的，涵盖企业客户、产品、账务等主题的数据模型，建立了企业级的数据仓库，并进行数据模型和数据仓库的运行验证，产生报表的速度、质量、数据分析结论都基本上达到数据仓库应有的效能，为企业的经营分析与决策提供了科学的依据。