基于增量ETL的分布式数据交换平台的研究与实现

被引量 : 0次 | 上传用户:aini123321231
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据交换平台是一个在不同数据库、不同数据格式之间,进行数据交换服务的平台。它要解决的是现阶段不同应用系统之间信息数据无法自由转换的问题。本文的在综合研究了目前数据交换平台所采用的相关技术的基础上,利用增量ETL技术和分布式思想,建立了基于增量ETL的分布式数据交换平台,并在实际工作中得到了有效的应用。具体完成了以下工作:1、提出了基于关键属性比对的增量数据抽取方法,包括关键属性提取算法和基于关键属性比对的增量数据抽取方法模型,介绍了方法的适用范围,并与全表比对方法和全表删除插入方法进行对比,分析了空间复杂度和时间复杂度,说明了其优越性,用实验验证了分析的正确性。2、提出了基于按行数据分片的分布式增量ETL优化方法,在增量数据抽取的基础上,对前人的ETL优化框架进行了改进,提出了增量ETL优化框架;在同顺序作业理论的基础上,提出了数据的按行分片机制以及分片数的最佳取值方法,从理论上证明了其正确性,然后给出了具体算法,用实验验证了算法的正确性并对实验结果进行了分析。3、在理论研究的基础上,提出了数据交换平台的整体框架,并对关键模块进行了设计与实现。最后对系统进行了测试,测试结果证明系统具有较好的实用性和稳定性。
其他文献
蓝、绿、红线是城市滨水地区三种主要的控制线,从蓝、绿、红线的基本概念谈起,进而提出要一改传统的蓝、绿、红线组织模式,优化组织城市滨水地区的蓝、绿、红线。以合肥市环
介绍了气相法二氧化硅的生产过程、作用机理及应用特性。
在传统会计系统所产生的财务会计报告所提供的会计信息可以满足某些报告需求者某些方面的需要。然而随着知识经济时代的到来,现行的财务会计报告已经很难适应社会各方面的要
在领导干部违法违纪案件中,"八小时以外"发生的个案占有相当大的比例,并呈逐年上升的趋势。尽管这些问题只发生在少数领导干部身上,却带来了极为恶劣的影响和严重的后果,不仅
公元十至十一世纪,整个世界处于一个动乱和民族文化交流频繁的时代。中国北方的契丹族曾雄霸东北亚的大片土地,各民族音乐文化的交流就是在这样一个大背景下展开的。本文通过
从四个方面论述了莱钢建立国际营销网络的意义,在分析了目前存在的问题的同时,从五个方面论述了莱钢如何建立国际营销网络,积极开展国际营销。
<正>膳食营养素参考摄入量(Dietary Reference Intakes,DRIs)是根据营养学研究成果和不同国家居民的营养状况,由国家级学术团体制定的不同人群营养素摄入量的一系列文件。制
隧道埋深的增加,地应力逐渐增加,岩爆风险进一步加大,围岩变形的时间效应显著,而深埋环境下硬岩隧道开挖过程中围岩表现出特殊的非线性力学行为使得传统的岩石力学理论与分析
古筝是我国古老的民族乐器之一,距今有两千五百年之久的历史,在新的潮流引领下,民族乐器创作也有了新的突破,新的形式不断创新,特别是在创作技巧和演奏方面。本文通过王中山
农村题材电视剧属于电视剧类型中的一种,是指以现实农村生活为全部表现对象的电视剧。中国的农村题材电视剧具有悠久和深厚的创作沃土,新世纪以来,在国家新农村建设政策的影