Hadoop集群系统性能优化的研究

来源 :辽宁师范大学 | 被引量 : 0次 | 上传用户:huojugjf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算在商业和科学研究上的价值已渐渐被社会认可。它可以在搜索引擎、互联网应用技术、大规模数据计算等方面发挥出巨大的能量。Hadoop技术作为云计算技术的开源实现,对云计算技术的发展起到了十分重要的作用。现在大多数的企业和科学研究采用了Hadoop作为云计算平台。Hadoop凭借它简单的并行编程模型,庞大的数据存储能力和高效的计算能力为用户提供了良好的客户体验。但是,由于Hadoop的发展时间比较短暂,系统中仍然有很多地方可以去完善和改进,才能更加充分地发挥其系统性能。因此对Hadoop系统性能的研究工作是必要并有意义的。系统性能参数和任务级调度算法对Hadoop系统工作性能起着重要的影响,其中系统性能参数关系到集群工作各阶段对系统资源的使用情况;任务级调度算法是Hadoop工作时任务分配的关键。参数值的确定与任务分配没有统一的模型,是比较复杂的工作,目前对它们的研究还处于发展阶段。因而我们从这两方面对Hadoop系统性能的优化进行了研究。本文着重对集群节点的执行能力进行了分析与研究。为使Hadoop集群系统能够应对多变的任务及集群节点自身的差异对系统工作性能带来的影响,设计TaskConfigure服务器及构建了Hadoop集群参数信息系统对集群参数进行自动调优;并针对当前Hadoop集群默认运行的任务级调度算法可能存在的负载分布不均的状况,提出了一种基于节点能力的任务自适应分配方法。其中,参数信息系统的实现,采用节点资源利用效率生成集群系统参数的优化配置值,再按节点和任务的分类为各类分配不同的配置参数值,这样可保证节点在恰当的配置参数下执行任务;同时,为了集群在执行任务时各工作节点能够保持负载相对均衡,以节点性能、任务特征、节点失效率等计算节点权值比例参数作为节点任务量调度分配的依据,并判断节点自身的负载状态,根据负载状态值自适应地调整运行的任务量。通过实验表明,集群总的任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理,并且使集群具有良好的稳定性和扩展性。
其他文献
目前智能手机、平板电脑、上网本等智能终端产品越来越普遍,而其价格也在不断下降。Android操作系统因其开源、免费的特性,得到了用户和开发商的青睐。不少公司企业已经开发
LBSNS(移动定位社交服务)是LBS(基于位置服务)与SNS(社会性网络服务)的结合体,兼有二者的特性。LBSNS的出现为人们提供了一种全新的社会服务形式,与此同时LBSNS的出现也引出了
随着计算机系统和计算机软件发展的日新月异,计算机软件已经应用到很多安全关键系统中。一旦这些系统失效将会导致生命财产的重大损失以及环境可能遭受严重的破坏。与硬件安全
摘要:本文以湖南科技学院仪器设备管理现状为背景,针对目前高校设备管理存在的问题,结合设备相关业务流程,通过对系统主要功能的分析,研究构建一个基于Web平台的高校仪器设备
如何更有效更自然地实现对计算机的操作,达到更好的用户体验,是人机交互领域的一个热点研究问题。基于手势的人机交互与其他交互方式比较,更易被用户接受和使用。通常将手势分为
云制造是借鉴云计算模式产生的一种面向服务的网络化制造新模式,旨在将分布于各企业中的制造资源和制造能力虚拟化并封装成制造服务,从而为广大用户提供制造服务,是近年来先进制
面对计算密集型任务和海量数据处理对嵌入式SoC系统在处理能力和处理资源上日益苛刻的要求,基于纯硬件提速的方式由于受限于摩尔定律已经力不从心,可重构计算的出现成为一种必
随着社会对能源的需求变得日益迫切,因此找到更多的位于地表深层的石油天然气就成了当务之急,油气勘探也就成为十分重要的手段。而地震检波器在油气勘探中,起着十分重要的作用,它
随着经济的发展以及城镇化建设速度的加快,导致城市内流动人口增加,人口密集。引发了城市建设中的交通、社会治安、重点区域防范等城市管理问题,随着国家提出建设“平安城市”项
缓存是弥补CPU与存储系统之间巨大速度差异的有效手段。但受成本和制作工艺限制,缓存与存储系统间的容量差异日益加剧。如何进一步深入挖掘现有缓存系统的潜在性能,是缩短CPU空