【摘 要】
：
大数据背景下的海量分布式数据流处理技术要求较高的实时性和成功率。为了提高分布式环境下数据流实时处理的实时性,采用Hadoop分布式系统平台,提出了一种Map Reduce工作流实
【基金项目】
：
河北省人力资源与社会保障厅研究课题“基于大数据的农村劳动力城镇转移就业渠道研究”(JRS-2014-1106),河北政法职业学院研究课题“电子商务专业学生自主创业问题及对策研究”(ZF20160613).
论文部分内容阅读
大数据背景下的海量分布式数据流处理技术要求较高的实时性和成功率。为了提高分布式环境下数据流实时处理的实时性,采用Hadoop分布式系统平台,提出了一种Map Reduce工作流实时调度优化方法。该方法采用2个相关参数来动态调整每个作业在队列中的重要程度,以便对工作流的优化做出动态的判断。此外,为了减少工作流整体的执行时间,对关键作业能否本地化进行判断和时间对比,从而尽量增加map任务的本地化。实验结果显示,提出的工作流实时调度优化方法在响应时间和调度成功率方面表现出较好的性能。
其他文献
随着网络技术渗透到社会生活各个方面,高职院校已经成为网络用户的密集区。高职院校既属于职业教育,又属于高等教育。近年来,随着文化多元化以及市场经济的负面影响,已经给高
高等职业技术教育既是职业教育也是高等教育，随着经济的快速发展，我国对外语人才的需求量越来越大，质量上的要求越来越高，在发展飞速的高职教育领域，英语教育很自然地成了一个非常
节点定位是无线传感器网络应用的关键技术之一。为了提高无线传感器网络节点定位的精确度,文章分析了质心定位算法的原理和优缺点,提出一种基于复合权值的质心定位改进算法（简
选取野生鸭绿沙塘鳢74尾,分别测量全长（X1）、体长（X2）、体高（X3）、尾柄高（X4）、眼间距（X5）、尾柄长（X6）、头长（X7）、眼径（X8）、头高（X9）、吻长（X10）、眼后头长（X11）和体质量（Y）共12个形态学指标。运用