资源不均衡Spark环境任务调度优化算法研究

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:donghao3000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于硬件资源的更新换代,集群中各个节点的计算能力会变得不一致。集群异构的出现导致集群计算资源不均衡。目前Spark大数据平台在任务调度时未考虑集群的异构性以及节点资源的利用情况,影响了系统性能的发挥。构建了集群节点的评价指标体系,提出利用节点的优先级来表示其计算能力。提出的节点优先级调整算法能够根据任务执行过程中节点的状态动态调整各个节点的优先级。基于节点优先级的Spark动态自适应调度算法(SDASA)则根据实时的节点优先级值完成任务的分配。实验表明,SDASA能够缩短任务在集群中的执行时间,从而提升集
其他文献
对艳山姜(土砂仁)进行了形态学的研究,并与国内主要几种作为"砂仁"香料的植物进行了比较研究,从而辩明了民间称为"土砂仁、砂仁"的艳山姜与砂仁、广西豆蔻、红花砂仁、红壳砂
目的医院OA系统(Office Automation)为载体,形成模块化的日志登录、传递、发布、反馈、处理为一体内部综合动态办公日志系统。方法基于OA系统依据PDCA循环理念设计动态办公日志
目的探讨辨证针刺配合按压耳穴治疗围绝经期综合征的临床疗效。方法将160例围绝经期综合征患者分为观察组和对照组,每组80例。对照组口服替勃龙片治疗,观察组采用辨证针刺配
城市类型形态学理论发源于欧洲,其研究成果能够帮助我们理性而直观地认识城镇复杂的内在秩序。以城市类型形态学视角对辽宁省庄河市青堆子古镇的城镇形态进行研究。借助卫星
和平供电所在全能型供电所建设中,秉承以客户为中心的理念,以实现营配业务末端融合、“服务+效益”为目标,通过推行多种措施,打造了“业务协同运行、人员一专多能、服务一次
目的评价患者防护口罩在牙周洁治时对口腔喷溅物的防护效果。方法设计一种新型患者防护口罩,在口腔门诊诊室内采用仿真人模拟牙周超声洁治治疗,按洁牙位置及防溅措施分成六组
目的:探讨根管充填质量对根管治疗(RCT)牙髓根尖周病的远期疗效及预后的影响。方法:选取2017年1月至2017年12月我院收治的因根尖周病接受RCT满1年且临床资料完整的患者196例(
针对现有多文档抽取方法不能很好地利用句子主题信息和语义信息的问题,提出一种融合多信息句子图模型的多文档摘要抽取方法。首先,以句子为节点,构建句子图模型;然后,将基于
以京Ⅴ标准的实施为例,基于断点回归设计的方法,检验了机动车排放标准的提升对空气质量的改善效果。研究发现,长期京Ⅴ标准的实施使北京市大气中的PM2.5浓度均值发生显著降低