基于AWS跨数据中心大数据处理的研究

来源 :中国石油大学(华东) | 被引量 : 0次 | 上传用户:ip81890
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着经济的全球化发展以及计算机水平的提高,企业的业务遍布全球,大数据处理已经成为政府和企业应用中常见的业务需求。Hadoop作为目前最为成熟的开源大数据处理框架,实现了 MapReduce的编程范式,海量的源数据通过Hadoop支持的HDFS存储并在Hadoop集群中的计算节点进行并行处理。然而,很多情况下,企业所需要处理的源数据是同时分布在多个数据中心的。此时,Hadoop传统的集群部署方式便不再具有明显的性能优势,因为其在数据处理之前首先要进行海量数据的移动,使得性能严重依赖于源数据大小以及数据中心间的网络带宽,造成不必要的时间和资源浪费。现有的研究方法也没有针对不同情况考虑采用不同的部署,只是将海量的数据统一移动到计算结点所在的数据中心进行处理,这种方式往往会受限于数据量的大小和数据中心之间的网络传输能力,对大数据处理的性能造成很大影响,本文考虑的主要是处理时间和花费方面的性能。另外,云基础设施随机行为造成的不确定性还影响着云基础设施应用编程接口(API)的可靠性和性能。为了解决这个问题,本文首先提出了跨数据中心大数据的部署处理框架,主要包括决策层、映射层和云应用系统层。决策层负责对跨数据中心的数据处理过程中产生的冲突的策略进行性能评估预测并选择性能最优的策略执行。云应用系统层负责监测决策层所需要的与数据处理相关的性能数据,同时也会执行决策层所选择的策略。而映射层则负责决策层和云应用系统层之间操作和事件的转换。其次,本文将跨数据中心大数据处理的集群的部署方式分为三种:单集群部署方式、分布式集群部署方式和多集群部署方式,提出了适用于跨数据中心的大数据处理的性能评估模型,评估预测不同集群部署方式下的性能。再次,本文以性能评估模型的评估预测结果为基础,提出了跨数据中心大数据处理的集群部署策略、基于遗传算法的任务分配策略以及云应用接口的容错调用策略,解决跨数据中心大数据处理的性能和可靠性问题。最后,针对所提出的性能评估模型和相关策略,本文选用AWS提供的EC2平台,搭建集群进行跨数据中心的大数据处理实验并进行结果的分析。实验结果证明,本文所提出的性能评估模型可以比较准确地对跨数据中心的数据处理的性能进行评估,基于该模型的框架和策略大大减少了数据处理的时间和成本,较好地提升了跨数据中心数据处理的性能和可靠性。
其他文献
目的:本课题从中西医结合治疗高脂血症的理论和临床方面进行了对照研究与探讨,认为痰浊、血瘀是本病的基本病机,并贯穿于全过程。按照祛痰降浊、活血化瘀的治疗原则,通过临床疗效
校企合作教育是高职教育的必由之路,文章从美国、德国、英国、澳大利亚的校企合作教育介绍入手,重点总结其共同的经验,并结合我国校企合作的现状,提出了对我国开展校企合作教
人类不仅具有逻辑推理的能力,而且具有产生、控制和表达情感的能力。在人工智能赋予计算机逻辑推理能力之后,如何赋予计算机情感成为一个重要的研究问题。也就是在计算机具有理
在民用航空器喷漆作业过程中,由于清洗剂的挥发,漆料中可燃液体的挥发等等作业现场不可避免地存在可燃性气体,形成爆炸性气体环境。在爆炸性气体环境中,要想对电气装置危险因
随着中国的日渐强盛,汉语和中国文化受到越来越广泛的关注,海外来华学习的需求日渐增多。其中,短期来华研修项目通过非学历的方式,能够实现短时间内对中国语言文化集成性、综合性的研修考察。从学术视角对其进行观察分析,班杜拉社会学习理论为此提供了一种研究的可能性,该理论的特点与短期来华研修项目之间具有较大的关联。本文尝试从班杜拉社会学习理论的视角来观察研究短期来华研修项目。结合理论基础、文献分析及调查结果,
目的 研究电针“大椎”、“内关”对局灶性脑缺血再灌注大鼠脑组织神经生长因子(NGF)及其功能性受体(trkA)表达的调节作用。 方法 将40只SD大鼠随机分为4组:正常组、假手
人类使用语言的过程就是一个表达自我思想、情感的过程。而要正确理解这种思想和感情,我们就要把握住语言中的情态表达。本文的研究内容是包含在我们称之为“大语气观”之下的
目的对培养的人视网膜色素上皮(human retinal pigment epithelial,hRPE)细胞中几种MMPs(matrix metalloproteinases)和TIMP-1(tissue inhibitor ofmetalloproteinase-1)的表
中职学生怎样满足现代企业的要求,如何提高中职生的综合职业能力,是摆在每一个中职教育者面前的课题。对于中职学校来说,生源素质差.学生综合职业能力低的问题始终是困扰中等职业
利用天然虾青素辅助偶联剂Si-69对白炭黑表面进行改性并制备了改性白炭黑/天然橡胶(NR)复合材料。借助橡胶加工分析仪、动态力学热分析、扫描电镜等方法研究了改性白炭黑/NR