实时ETL弹性调度机制研究

来源 :武汉科技大学 | 被引量 : 0次 | 上传用户:fan8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在如今快速竞争的商业环境中,用户更倾向于使用最新的数据完成商业分析,因此实时ETL(Extract-Transform-Load)被提出以解决实时分析的需求。如今,实时ETL相关的研究层出不穷,但提出的解决方案中都没有考虑到数据的动态性。在很多实际场景中,数据源的数据生产速度随着时间波动且波动区间较广。在实时ETL系统中,ETL过程为常驻应用程序,如果能够在ETL过程运行时弹性调整ETL过程的资源,则有利于提高系统整体的资源利用率。因此,本文深入探讨了数据波动较大的场景下,关于实时ETL弹性调度机制的研究。本文主要工作分为两部分:一是单个用户的多个ETL过程弹性调度机制的研究;二是单个ETL过程弹性调度机制的研究。在单个用户的多个ETL过程弹性调度方面,本文首先构建了基于历史数据的时间序列预测模型用于预测ETL过程未来的数据生产速度;然后,根据各个ETL过程提交的资源清单,提出基于紧迫度的动态调度算法,用来调整单个用户多个ETL过程的资源。在单个ETL过程弹性调度方面,本文首先根据各个服务器负载情况,提出贪婪负载均衡算法,保证单个ETL过程调度资源时各个服务器负载能够均衡;然后,提出基于Dinic的改进算法用来解决调整后的ETL服务之间的稳定匹配问题。实验结果表明,相对于传统的调度方案,本文提出的弹性调度机制能够在保证消费数据速度不受影响的情况下,资源利用更加合理。同时,本文也验证了提出的相关解决方案在对应的问题上有较好的性能。
其他文献
人类社会已经进入信息时代,互联网正在不断改变着人们的工作、生活、学习和娱乐方式。“互联网+传统行业”已经在各行各业得到快速发展,大有“顺其者昌,逆其者亡”之势。在教育领域,互联网也逐渐被广泛运用,“互联网+传统教学”也成为各类学校、各门课程乐于运用的教学手段。论文选取Y中学作为个案,通过调查来了解“互联网+”在Y中学思想政治教学中的运用情况。论文的主体结构分三个部分展开:一是通过理清“互联网+”的
学位
协商民主正式写入了党的十八大,标志着中国特色社会主义民主政治又迈入一个新的历史进程。协商民主是马克思主义民主理论和中国特色社会主义民主实践相结合的产物。十八大以来,协商民主理论与实践都取得了重大进展。论文对此进行了研究,在分析马克思主义协商民主思想和归纳总结中国共产党协商民主发展历程的基础上,阐明了协商民主是社会主义民主发展的重要组成部分,是马克思主义民主理论在当代的丰富,是中国共产党领导多党合作
在医学科学领域,基于现场面对面对话(或传达)模式的医学学术会议是医学科学交流较为普遍的一种形式,其对医学的繁荣与发展起到了极其重要地推动作用。但随着移动互联网Web3.0时代的到来,传统现场模式的医学学术会议体系已不能完全适应新型互联网环境下医学学术情报信息交互的要求。因此,在2016年,各级别医学学术会议的会议方广泛赋予会议网络视频直播的功能,逐渐形成向基于互联网(网络视频直播)模式(现场与网络
高中阶段教育作为国民教育体系的重要组成部分,承担着升学、就业、培养全人的使命,是进一步提升国民整体素质的基础工程,因此教育部提出要改革人才培养模式,围绕“素质教育”提升教育质量。当前,我国高中教学改革虽然取得了一定进展,但高中生的学习状态仍有待提高。许多研究已证实,我国高中生学业自我概念总体处于中等偏下水平,这种现象引起了研究者的广泛关注。学业自我概念是影响学生的学业成就、心理健康水平的一个重要非
选取四川盆地长宁县双河镇上奥陶统五峰组-下志留统龙马溪组新鲜露头样品32个,渝东南黔浅1井岩芯样品17个,运用氮气吸附法进行了页岩孔径分布表征并完成了核磁共振孔隙度测试
压气机作为三大核心部件之一,其性能好坏直接影响着航空/舰船/地面燃气轮机整机性能。离心压气机以级压比高、结构简单、尺寸小等特点在涡轴/涡桨发动机与中小型燃气轮机中获
校园路跑是一项健身娱乐性强且不受场地和年龄限制的现代新兴体育运动项目。在普通高校开展校园路跑,不仅符合素质教育对校园体育文化建设的改革的要求,而且还在很大程度上能
快速发展的电力电子技术和微处理器的应用使得交流调速系统具有更加优良的控制性能,永磁同步电机伺服系统也在朝着高控制精度和宽调速范围的方向发展。作为交流调速系统的核心部件,永磁同步电机的应用前景将更加广阔。在永磁同步电机的控制系统中,矢量控制系统的应用比较广泛,PMSM(Permanent Magnet Synchronous Motor)矢量控制系统中的控制器一般采用的是经典PI控制,凭借其结构简单
随着现代企业竞争的日益加剧,企业能否生存并得以发展,关键取决于客户资源的多少。客户多意味着企业能够获得更多的利润,唯有坚持深化与客户之间的合作,切实提高客户对企业的