数据仓库中档案数据的并行导入

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:guozhizhong8017
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文首先介绍了数据仓库技术的基本概念和特点,然后简单介绍数据仓库的体系结构和数据组织。接着介绍了设计和实现数据仓库ETL(抽取/转换/装载)处理过程。文章讨论了数据抽取、数据清洗、数据装载、数据转换的方法和策略。若要从数据仓库中做出有意义的分析,则数据仓库中必须要有一定数量的历史数据。为了缩短历史数据积累的时间,本文在这一部分着重讨论了如何在数据仓库中的导入档案数据。要在数据仓库中导入档案数据必须考虑导入的速度问题。在对比分析了档案数据顺序导入、逆向导入和并行导入三种方法的基础上,着重介绍了并行导入方法的策略。提出了基于客户机/服务器模式的档案数据并行导入的方案。在整个处理流程中,数据整合是实现并行导入的关键步骤,详细描述了历史数据并行整合的方法。最后,通过模拟实验对并行性的性能进行了分析讨论。 通过导入档案数据来快速提高数据仓库的数据量,是数据仓库技术发展到一定阶段后的必由之路。本文提出的并行导入方案大大加快导入档案数据这一工作的效率,使得数据仓库在最短时间内最大限度的提高了数据量,从而进行有效的决策分析。随着企业竞争的加剧和数据仓库技术水平的提高,导入档案数据方案及相关技术将会被越来越多的企业所应用。
其他文献
最近几年,城市车辆的保有量逐年递增,给公众交通带来了巨大的负担,很多研究正在尝试构建智能交通系统来缓解城市公众交通的压力,车载自组织网络作为智能交通领域的一个重要组成
作为一类重要的复杂类型数据,时间序列已成为数据挖掘领域的热点研究对象之一。针对时间序列的数据挖掘在智能交通控制中有着十分重要的作用,其通常首先需要将时间序列分段并转
随着高性能计算机、宽带网络、多媒体、视频压缩和存储等技术的发展,视频数据得到了越来越广泛的应用,如视频点播系统(VOD)、数字化图书馆(DL)、媒体资产管理(MAM)等。近年来,基
配色系统是配色领域与计算机技术结合的产物,属于CAD/CAM研究领域,它目前已广泛用于染料颜料制造业、印染业、塑料着色加工业、涂料业及油墨等着色相关行业,可帮助生产人员进行
本文对基于G.723.1压缩编码算法的纸介质声音存储系统进行了研究。文章对二维条码技术作了阐述,在对已有的码图结构和编码规则进行分析与研究的基础上,提出了针对本系统的应用
基于进程演算的程序语言设计与实现能够将并发理论的语法和语义理论研究真正应用于实践,并从根本上用高效的并发计算去替代传统的顺序计算,这是研究进程演算的一个关键问题。本
针对现有挖掘算法存在的多趟扫描数据、动态维护复杂、更新效率低等问题,提出了一种基于前缀树的频繁模式挖掘算法PT-Mine 和更新算法UPT-Mine 。PT-Mine 算法利用前缀树压
  电子商务中最重要的活动就是网上交易,但目前的电子商务主要提供了信息的发布、简单的电子货币的使用和固定价格商品销售和购买功能,远远未体现出与传统交易方式相比的优势
集群计算技术近年来成为计算机界研究的一个热点。集群不但能够充分利用现有的计算资源,而且能够通过较低的软、硬件代价实现较高性能的计算机系统。随着微处理器技术和高性
随着计算机和数字媒体技术的飞速发展,越来越多的视觉艺术作品以数字化方式进行创作、保存和传播,成为人们这个时代不可缺少的精神财富。然而,传统视觉艺术作品的审美评估只