【摘 要】
：
针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——MDETL(MapReduce Distributed ETL)。该体系结构采用MapReduce并发处理海量数据的并
【机 构】
：
解放军理工大学工程兵工程学院南京210007
【基金项目】
：
国家自然科学基金项目(70971137)资助
论文部分内容阅读
针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——MDETL(MapReduce Distributed ETL)。该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率。
其他文献
<正>美联储对2008年爆发的国际金融危机进行了深刻反思,认为金融危机暴露出金融机构在风险量化实践中存在的诸多不足,最突出的一点是对于极端事件关注不够,对于这类事件给银
为了通过融合多种情感资源库中的词汇情感特征来提高微博情感分类精度,提出了一种词汇情感确定性度量的计算方法,并以此为基础将在多种情感词汇上获取的情感特征融合为词汇的
<正> 玫瑰:纯洁的爱,美丽的爱情红玫瑰;热恋,热情,热爱着你粉玫瑰:初恋,求爱,爱心与特别的关怀橙红玫瑰:富有青春气息,初恋的心情黄玫瑰:高贵,美丽或道歉
在加工时间可控的单机排序中,面对随机发生的干扰事件,研究了初始加工时间表的制定问题。对于干扰事件造成的影响采用匹配时间排序的应对策略,在干扰事件发生后,通过压缩工件
<正> 世界上的事情是很有意思的,有些好端端的,完美无缺的事物,反不如一些有毛病,有疵瑕的事物感人。对于这类情况,在文艺界,人们称之为“缺陷美”。它的意思是:如果一个人物
文章就当代华裔妇女在美国文化中所陷入的困境和问题进行了探讨 ,认为首先是语言障碍阻碍了她们在新的生存环境中的继续发展 ,当然更重要的是受各种不成文法与传统习俗的束缚
运用多元素分析、X射线衍射分析、扫描电镜和镜下鉴定等手段,对某云母矿进行了详细的工艺矿物学研究。查明了该云母矿石的化学组成、矿物组成、微观形貌、粒度组成及嵌布特征
名师成长的实质是教师作为“教育专业人才”的专业化高度发展过程 ,是教师不断跨越成功的栅栏、超越自我的创新过程。名师成长受诸多复杂因素的影响 ,表现出复杂性、周期性和
<正> 随着我国社会主义现代化建设和改革开放的进行,房地产业发展迅猛,已经成为国民经济的支柱产业,房地产市场的竞争也越来越激烈。随着我国的相关法律法规日趋完善,经营环
为改善汽车的平顺性和操纵稳定性,建立了包含主动悬架与主动横向稳定杆的整车动力学模型,并根据主动悬架与主动横向稳定杆两个系统间的耦合关系,分别设计了主动悬架与主动横