闪购电商大数据平台ETL作业调度系统设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:jackieWXM
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来电子商务企业的经营模式中,以“闪购”为核心的电商企业开始涌现,这种脱胎于法国网站Vente Privée的新型电子商务模式,在我国一些知名的电子商务企业中逐步应用,它以限时、限量、限价的营销模式,在电子商务市场中掀起了一股抢购热潮,各类“闪购”电商业务增加的同时,企业系统的数据量也在大幅度攀升,在这样的背景下,闪购电商对于大数据存储、数据仓库ETL技术的需求更为迫切。在大数据平台中,大量非结构化数据的存在使得“闪购”电商企业的经营分析更具有效用和深度,但也增加了企业对这些数据利用的难度和效率,特别是其涉及多元化的数据库类型,使得闪购电商企业在面对这些数据库时难以进行统一、协同的应用调度。因此,如何在复杂的体系中寻找这些作业之间的关系,并进行高效调度,成为了闪购电商大数据平台应用亟待解决的问题。论文提出一种适合于闪购电商大数据平台的ETL作业调度方案,并在该方案的基础上设计相关的系统。论文首先针对闪购电商大数据平台ETL作业调度系统的需求分析,提出了ETL作业调度系统在元数据管理、任务管理、抽取装载管理、作业调度管理等基本的业务需求,同时也提出了该系统在可靠性、易用性、安全性、可维护性、可扩展性、高集群使用率等多方面的性能需求。在此基础上,论文对闪购电商大数据平台ETL作业调度系统展开设计,提出了基于前端WebApp与后端计算集群的逻辑架构,为系统设计了借助了Hadoop分布式服务框架的技术架构。然后论文进一步对闪购电商大数据平台ETL作业调度系统的关键模块和业务进行了设计,包括元数据管理核心内容、元数据管理结构模型、任务管理功能、作业定义设计、作业依赖关系、作业运行设计、抽取装载流程、作业调度策略与选择、调度异常处理等。最后,对闪购电商大数据平台ETL作业调度系统进行了测试与应用,测试结果表明,本系统在功能和性能测试方面都表现较为良好,可以上线运行,通过正式运行之后发现,本系统对于闪购电商在大数据平台环境下的数据存储、挖掘以及作业调度都具有明显的提升作用,应用效果十分良好。
其他文献
随着国家新型能源战略调整步伐的加快,天然气这一新型清洁型能源的市场需求量也在提升,随之而来的是天然气开发、集输产业进入到快速发展阶段。由于天然气开发、运输和应用过
当前,我国学前教育在教育目标、教育方式和教育内容方面存在着过度启蒙和开发的现象,严重影响儿童的身心健康。实现学前教育向童年回归的主要措施有:在教育目标上由"成人为本"回
开展研究生素质教育的关键在于探求具体的实施途径与方法。本文论述了社团在研究生素质教育中的作用与功能,分析了当前人们对研究生社团的认识误区,并提出了加强研究生社团建
检察机关在履行法律监督力度上比较突出,老百姓也能直接感受到检察机关的威慑性,对于预防职务犯罪而言,检察建议是一种有效的、重要的预防手段。
本文通过确认工程数据及任务,选取集输路径,确定管线走向、长度、压力等;并进行工艺系统分析计算,设计出最优的管网分布、管径组合,使其实现布局合理,投资费用最低,工程量较
目的观察甘草酸二铵治疗烧伤患者肝功能异常的临床效果。方法选择烧伤并发肝功能异常的患者20例,随机分为治疗组和对照组,每组10例。治疗组:常规治疗加静脉滴注甘草酸二铵150
炎陵县位于湖南省的东南部,东与江西省的井冈山市、遂川县交界。炎陵方官是炎陵县境内的主要方言,主要呈现赣语为特征,属于赣语吉茶片。文章主要描写炎陵方言的声韵调系统及语音
在进行天然气的处理以及加工装置中,自动排液系统是一种不可或缺的重要设施,它的安全可靠度如何、工艺水平高低都将对天然气正常有序生产及其传输过程带来不小的影响。由于气
功能词在莎剧构境中有着生成意义的作用。准确把握功能词在语境中的意义,有助于我们更好地理解莎翁语言的奥妙。对《麦克白》中的多义功能词when进行语料统计与分析,可探讨出
<正> 我厂是1959年开始生产LDC-10型高压电流互感器的。当时由于厂小,生产落后,所以铁心是工人用虎鉗夹紧人工进行卷圆。这样既笨重费力,工效又低,远远不能滿足生产的需要,而