面向运营商大数据的分布式ETL研究与设计

来源 :邮电设计技术 | 被引量 : 0次 | 上传用户:snowdrangon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ETL主要用于整合不同信息系统中的异构数据,实现数据对上层业务用户的透明性,它是构建高质量的数据仓库的关键。针对某省级运营商的数据ETL需求,提出了一种分布式的ETL解决方案:基于MapReduce框架完成数据的非实时ETL功能;而针对实时ETL需求,则将ETL集群与Hadoop节点合设,充分利用Hadoop集群提供的集群管理功能,实现实时ETL的任务调度,从而提高了多服务器之间的协同性,也充分利用了服务器的硬件能力,节约了设备投资。
其他文献
近年来,一种类钙钛矿材料Cs_2SnX_6(X=I,Br)受到了人们的关注。这种类钙钛矿不仅无毒稳定,而且具备优异的光电特性,前景诱人。本研究选择这种类钙钛矿材料作为研究对象,主要对其合成方法、结构性能及其在太阳能电池中的应用进行探索研究,主要内容如下:首先,探索研究了Cs_2SnI_6的合成,找到一种简单高效的溶液制备方法,进而对所合成的Cs_2SnI_6进行了XRD、SEM、EDX及UV-vi
光束指向控制技术在太阳能照明、自由空间光通信、定向红外对抗、激光雷达、投影显示、光开关等领域中有着重要的应用。传统的光束指向控制技术,需要依赖机械装置改变光轴方向,进而实现对光束指向的控制,存在操作繁琐、响应速度慢、操作精度低等问题。基于介电润湿效应的液体棱镜具备结构简单、易于集成、对多波长无偏振依赖性、响应速度快、不需要克服运动过程中的惯性影响、且易于实现阵列化等诸多优点。因此,本课题设计了基于
交通标线设计是否合理、规范和人性化直接影响到人们的交通行为,也影响到交通标线能否真正发挥管制和引导交通的作用。通过分析交通标线设置中存在的问题,提出了交通标线设置
随着石油、煤炭等非可再生资源的逐渐枯竭,新的可再生能源的开发已经成为人们迫切的需求,以纤维素为主要成分的植物生物质是地球上最丰富的可再生资源。然而由于纤维素的结构
杆状病毒具有两种不同形态、不同功能的病毒粒子形态:出芽型的病毒粒子(Budded virus,BV)和包涵体来源的病毒粒子(Occlusion derived virus,ODV)。早期的研究证实,ODV被宿主
本报讯(通讯员 孔宪翔)5月30日,天津市委政法委召开政法系统2016年度第二次政治工作联席会议暨政工干部专题学习研讨班。会议学习传达了全国政法队伍建设工作会议精神和孟建柱
报纸
<正>Q女儿快高考了,我每天忙得昏天黑地,最近一段时间睡眠特别不好,要么就是入睡困难,要么就是凌晨三四点钟早早醒来,在床上翻来覆去地再砸无法入眠。有什么办法可以让我睡个
正常情况下,胃粘膜具有强大的屏障功能和可再生的修复能力以应对胃粘膜受到的损伤。引起胃粘膜损伤的常见因素有胃酸过多、幽门螺杆菌感染、饮酒、吸烟以及不当饮食等。反复
随着电子商务的迅速发展,网络购物用户得到了迅速增长。大学生作为现今网络购物中不可或缺的主体,同样也将在未来网购消费中成为主要力量。但是由于大学生这一群体的特殊性,
[目的]观察口咽功能训练配合肌电生物治疗脑瘫患儿吞咽障碍的临床疗效。[方法]采取方便抽样的方法抽取80例脑瘫伴吞咽障碍患儿为研究对象,采用随机数字表法将其分为观察组和