基于流网络的流式计算动态任务调度策略

来源 :计算机应用 | 被引量 : 0次 | 上传用户:zhangyongqiangis250
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对大数据流式计算平台中输入数据流速急剧上升所导致的计算延迟升高问题,提出了基于流网络模型的动态调度策略,并将其应用于Flink数据流计算平台。首先,通过定义有向无环图中每条边的容量和流量将其转化为流网络模型,并通过容量检测算法确定每条边的容量值;然后,通过最大流算法计算对应的增进网络和优化路径,从而在输入速率上升阶段提升集群的吞吐量,并通过评估时空代价论证了算法的可行性;最后,讨论了重要参数对算法执行效果的影响,并通过实验得出了在不同类型的作业中推荐的参数取值。经实验验证得出:所提算法与Flink平台现有的任务调度策略相比,在输入速率上升阶段对不同作业类型中集群吞吐量的优化比均高于16.12%。实验结果表明动态调度策略在满足任务延迟约束的前提下有效提高了集群的吞吐量。
其他文献
随着铁塔等高耸建筑在通信、电力领域广泛应用,高耸建筑状态监测已成为高耸建筑日常维护中的一项重要工作。传统的高耸建筑状态监测常使用人工定期巡检的方式,这种方式存在巡
“言论自由”是有关“自由”的研究中较为重要的一环。从苏格拉底到密尔再到霍姆斯,从古希腊到英格兰再到美利坚,国外对言论自由研究可谓由来已久。之所以有如此多的仁人志士
社会工作在中国恢复建设后30余年,已迎来政府大力倡导发展的时期。但目前的发展状况不容乐观,社会工作人才的流失率和职位的空缺率一直居高不下。无论国外或是国内,都已有较
目的观察肝切除术后肝脏淤血时对早期残肝再生及术后肝功能恢复的影响。方法:2012年1月至2014年10月期间,我院32例肝癌患者,均实施右半肝切除术,术后根据观察将其分为实验组(
通过分析低碳经济背景下企业社会责任的构成因素,构建多层次的企业社会责任评价指标体系,在此基础上运用层次分析法确定各指标的权重,建立低碳经济背景下企业社会责任综合评
为了获得较低的低温环境,通过建立能量方程及辅助软件EES(Engineering Equation Solver)的编程,分析了R1234yf/R744和R134a/R744两种复叠式制冷系统的蒸发温度、冷凝温度、冷
目的对腹腔镜手术与开腹手术治疗子宫肌瘤的护理进行分析。方法以手术方式的不同将2016年5月至2017年5月在我院进行治疗100例子宫肌瘤患者均分成研究组和参照组,每组各50例患
随着我国同世界其他各国之间的经济交流与文化交流的不断加深,各种思想价值观念、理论体系不断涌入,对美声唱法以及流行唱法等音乐形式也产生巨大的影响。本文将针对新时期下
<正>近年来,随着腹腔镜技术的不断改进,其在妇科领域的应用越来越广泛,不仅成为许多妇科良性疾病的首选手术方式,而且逐渐被应用于妇科肿瘤的治疗中。腹腔镜之所以成为妇科最
核心素养时代,教育更加关注学生知识、能力、态度及人格的全面发展。小学音乐课堂教学管理"固化",忽视学生个性差异的发展。核心素养导向下小学音乐课堂教学的个性化管理策略