MapReduce仿真及Hadoop公平调度算法研究

被引量 : 0次 | 上传用户:qncypt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
继分布式计算和网格计算之后发展起来的云计算,是当今IT领域研究的热点,包括对于分布式集群、虚拟化技术以及用户服务级别方面的研究。Hadoop是一个重量级的分布式处理开源框架,在对大数据存储和处理方面的优势使得它成为很多企业和学者们研究云计算的平台。本文围绕Hadoop实现框架、在虚拟机上搭建Hadoop集群与Hadoop不同调度的实现几个方面展开研究,重点集中在对Hadoop公平调度算法的研究和实现。由于云计算具有面向不同用户的特性,因此如何在不同用户之间公平共享资源关系到用户对云服务的满意程度,同时由于集群是建立在大量商务机或者虚拟机上,很容易出现故障,因此如何在节点出现故障的时候能够迅速迁移服务同样至关重要。本文贡献在于对MapReduce编程模型进行仿真实现,并搭建基于虚拟化平台的Hadoop集群,通过在不同的四个实验下运行MapReduce作业,研究不同调度算法的性能以及节点故障对作业性能的影响。本文在九个节点上搭建Hadoop集群,并设计四种不同的实验方案执行MapReduce作业,通过分析作业运行结果,评估不同调度算法性能。结果表明:1)先进先出调度算法比较适合于单用户作业的执行;2)公平共享调度算法能够在存在多个作业的情况下在不同作业之间公平共享集群资源;3)对于加入延迟时间的公平份额调度算法而言,不同作业最佳延迟时间的选择不是一成不变的,不同延迟时间对不同作业影响不同;4)发生普通单节点故障严重影响作业执行效率。
其他文献
本文主要围绕智能视频监控系统中的异常事件监测中所面临的预处理、目标识别、异常事件检测方法展开研究和探讨,并获得一定的研究进展,具体包括:在视频图像的预处理方面。首先,根
医疗服务营销是市场营销理论在医疗行业的理论发展和延伸,它符合“医疗服务与服务营销”相结合的理论创新研究思路,并且具有从营销学角度推动卫生行业,重视患者需求的实践意义。
随着21世纪信息时代的到来,各类金融服务也已经展现出更加多元化的风貌。网上银行、手机银行、短信银行以及电话银行的出现,标志着各类客户可以采用更加智能的方式享受社会经济
汶川大地震报道以前所未有的开放性、及时性、透明性和人文性,实现了媒体话语机制的历史性跨越。传媒的话语空间伴随着政治民主化的历史进程逐步放开,并在话语实践中渗透民主
人本主义心理学与积极心理学在心理学的研究对象——人的认识上虽然相似,但各有侧重。人本主义心理学受现象学和存在主义哲学的影响,主张心理学应该关注人的现实存在与价值追
随着我国电信市场的不断发展,运营商新增设备投资持续下滑,其现有设备及业务规模日益庞杂。运营商的需求已经从以往的单一的提供电信设备转向要求提供产品、技术解决方案、增值
改革开放以来,伴随着市场经济的飞快发展,我国各类金融机构如雨后春笋般涌现出来。大大丰富了我国的金融市场构成,同时也打破了传统国有商业银行“一统天下”的局面。特别是随着
在进入二十一世纪以后,我国的人口老龄化越来越严重,据我国的民政部门预计到2013年底我国的老龄人口将会突破2亿人,达到2.1亿人之多。在这样的背景下,我国的养老问题就会是关
基于沈阳市留守儿童档案管理工作调研而得到的相关数据,从留守儿童档案内容与形式、形成与管理机构和存在的问题等方面对沈阳市留守儿童档案管理情况进行分析和阐述,并在此基
深入推进课程思政就是要构建一种“三位一体”的思想政治教育体系。以学生为中心,充分挖掘专业课程潜在的育德、育人功能,让专业课程和思想政治理论课形成合力,同向同行,使习