【摘 要】
:
随着计算机技术迅猛发展和互联网运用高速的扩展,云计算作为现在炙手可热的分布式计算模式,改变了传统互联网的服务模式。这种由大量廉价的普通机器组成的集群,可以为用户提供计
论文部分内容阅读
随着计算机技术迅猛发展和互联网运用高速的扩展,云计算作为现在炙手可热的分布式计算模式,改变了传统互联网的服务模式。这种由大量廉价的普通机器组成的集群,可以为用户提供计算能力、存储能力和信息服务,从技术上解决了当前互联网面临的海量数据处理、大规模并行计算和多用户等问题,给整个互联网带来了革命性的技术变革。Hadoop作为一个应用广泛的分布式开源云平台具有高可靠性、良好的扩展性和低成本等优点。作业调度是影响Hadoop集群整体性能与资源利用率的一个重要因素,不仅关系着集群运行的有序性,而且是整个集群能否有效利用系统资源满足用户需求的关键。但是随着应用环境的变化,现存Hadoop的调度算法很难充分满足用户的多种需求,因此研究和改进现存的作业调度算法具有重大意义。通过认真分析Hadoop现有调度算法,提出了改进策略。⑴针对计算能力调度算法的缺陷提出一种基于优先级的计算能力加权调度算法。即根据作业的优先级和提交时间等因素来计算作业的权重,依据作业权重来排序作业队列,从而既可以避免调度陷入局部最优也能更好地满足作业的多样性服务要求。⑵综合考虑作业响应时间和任务数据本地化之间的矛盾,在延迟调度基础上对作业是否延迟调度做了进一步要求,以损失部分数据本地化来提高部分作业的响应时间。通过搭建Hadoop平台,对算法进行测试来验证算法的性能。实验结果表明基于优先级的计算能力加权调度算法提高了集群的效率并可以提前部分小作业的响应时间;对于实验延迟调度的改进算法虽然任务数据的本地化比延迟调度算法要低,但是达到了提高作业的响应时间的要求,算法的性能也比公平调度算法要好,体现了调度算法改进思想的效果。
其他文献
目前,我国高职院校顶岗实习的教学管理方法和质量监控体系尚不成熟,较大程度地影响了高职教育教学质量。本文以高职教育动物医学专业为个案,在广泛调研基础上,分析了影响顶岗
本文主要分析汽车离合器盖总成产品的包装工艺性,介绍一种工序少、效率高、劳动强度低且质量稳定的包装工艺,以及简易机器人在产品包装过程中的自动化应用。
英文电影的中文译名不只是译者运用各种翻译理论得出一个片名,而是在充分了解原来片名的本身的特点和语境的基础上,结合汉语语言结构的特点(包括形、音、义),顺应汉文化的特
城际动车组作为接驳高速铁路、城际铁路和城市轨道交通网络的重要交通工具,越来越成为城市未来发展的经济命脉。该文针对城际动车组制造完毕后常用的汽车运输的施工流程、工
法兰密封连接是过程工业装置中最常见的可拆连接形式,在保证法兰连接良好的密封性能及长久的使用寿命上,密封新材料的开发和应用具有重要意义。以Ni 50.9 Ti 49.1(原子分数)
对现阶段各类化工仪表常见故障进行了细致梳理,研究了几种化学仪表故障检测及维修工作的开展方法,并提出了几点预防化工仪表的建议,以期能够为化工企业的发展提供帮助。
在论述了国内外交直流混合微电网发展现状的基础上,研究了交直流混合微电网电压等级的选取、接地模式、典型接线模式,并对交流、直流供电模式的优劣利弊分别做了比较和研究,
本文以领导干部为研究对象,在国内外相关文献研究的基础上,运用定量分析方法,对领导干部成长经历与成长规律进行全面深入的实证调研,了解目前我国中央党政领导干部的结构特征,进而
随着军队“2110”工程重点实验室“军用物资包装与防护实验室”一期建设完成,已投入教学使用。着眼于人才培养,为了完成多种实验和实现多种功能,实验室规划为包装材料性能检
笔名是作家创作中所使用的化名,以缩微的形式体现出作家的个性气质,思想风貌以及创作倾向。在新文学发轫期,新文化运动先锋们以饱满的创作热情和实实在在的创作业绩,投入到五