ETL技术在QHSE报告系统中的研究与实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:yahved
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文针对传统数据库中海量业务数据无法得到有效利用的问题,在ETL理论基础之上,提出了数据仓库项目中ETL问题的解决方案,主要研究了基于元数据的数据抽取、转换和加载以及数据清洗的方法,详细阐述了ETL技术在中国石油QHSE报告系统中的应用,具体内容包括: 1.QHSE报告系统为不同的业务数据源提供统一的数据接口规范,用于从各业务系统或工作环境中获取包含统计报表和多维分析信息的初始数据文件,合理运用数据实现跨越多平台多系统的数据整合; 2.针对没有相应的信息管理系统,报告系统使用.NET技术开发QHSE数据录入/导入系统,并运用XML技术实现不规则数据文件抽取; 3.校验初始数据文件,检查数据是否符合数据仓库系统要求的业务标准及数据的合法性,进行数据清洗,并生成相应的日志记录; 4.按照指定要求加载通过合法性校验的文件或数据行到数据仓库数据表,设计加载策略以提高ETL效率。 论文对ETL在数据仓库项目实施过程中的方法进行了总结,并提出下一步研究的重点。
其他文献
随着嵌入式软硬件技术的飞速发展,越来越多的嵌入式产品走进了人们的日常生活。其中DVD录像机就是近几年来出现的新型嵌入式产品,它以显示终端为媒介,通过画面与用户进行交互,包
今时今日,网格技术已经不再把自己局限在高性能计算的范畴中,而是通过向网络服务靠拢,建立起一套面向服务的体系架构。相应于此,网格中的数据模块也不再是一个提供资源的底层支持
本文基于虚拟现实技术在小区园林设计系统开发中的运用,对液体运动虚拟成像技术在喷泉造景效果的模拟方面进行了研究,并通过研究壁泉造景效果原型模拟的成像问题建立了成像问题
近年来,以 TCP/IP 协议为基础的 Internet 迅速发展,其网络规模、用户数量及业务量都呈现爆炸性增长,网络拥塞的状况日益严重和复杂。拥塞容易造成传输时延和吞吐量等服务质量 (
本文主要研究基于下一代网络的模块化的传输控制协议。基于这种协议的应用具有大规模、多媒体、实时性、交互式、异构性等特点。现有的传输控制协议存在以下不足:1)当前分布式
随着电信网络的发展,语音通话在人们日常生活中有着越来越重要的作用,人们之间的互相通讯,语音作为一种最为可靠的联系方式,是生活中密不可分的。呼叫中心基于现代通信技术。呼叫
当前政府正在大力推广Internet及宽带网络,同时网络电视计划也是方兴未艾,这一切都推动了网络流媒体业务的迅速发展。针对目前流媒体应用广泛的视频在线直播服务,8010研究室自主
人脸作为人类最熟悉又最富多变性的一个组成部分,其复杂的结构能提供非常丰富的信息,这使得人脸特征信息在计算机中的表示形式以及这些信息的处理方式成为计算机视觉、图像处理
本文主要针对数字几何造型中的一些基础理论和应用问题进行研究。主要研究内容如下: 1.二次有理B样条曲线的曲率单调研究。 2.平面相离圆弧间G连续过渡曲线的构造。 3.
目前全球的工业和制造业已经相当发达,汽车、火车、飞机、轮船等大型物体的制造已经不是什么难事。在这些大型物体的制造过程中,对其覆盖件的模具进行测量是很关键的一个环节。