【摘 要】
：
当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。为了优化对本地任务的调度,提出了一种基于机器学习的Hadoop本
【机 构】
：
南京工业大学计算机科学与技术学院,南京市卫生信息中心
【基金项目】
：
国家公益性科研专项项目(201310162,201210022);连云港科技支撑计划资助项目(SH1110)
论文部分内容阅读
当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。为了优化对本地任务的调度,提出了一种基于机器学习的Hadoop本地任务调度优化算法。选取定义与任务相关的特征向量,然后基于logistic回归模型的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型。通过实验证明,提出的算法在改善map任务的数据本地性的同时,降低了作业运行时间。
其他文献
男正装企业的休闲化来势汹涌,休闲装企业如何应对?GXG、MILLOW、纯粹、HARDRIVE、JASONWOOD等在内的众多品牌都在CHIC休闲装展区安营扎寨。与2008年的运动风、2009年的都市风
所得税筹划是企业税收筹划的重要内容。如何利用新所得税法在企业所得税相关方面的规定,进行税收筹划,是目前企业实现可持续发展的一个重要课题。
Income tax planning is a
为筛选超声波法提取西洋参多糖的最佳提取工艺条件,通过单因素及正交试验设计研究液料比、提取时间、超声功率、提取次数等因素对西洋参多糖提取率的影响。结果表明,西洋参多
毕业设计（论文）成绩评定是一个多因素综合评价问题，为避免评价过程中主观性因素对结果的影响，可以采用模糊评价法。该方法通过建立评价指标体系，将不确定的信息用定量的方法加以处
云环境下,传统的数据库扩展性和安全性较差,需要开发性能更为优越的图数据库。本文介绍了图数据库模型的概念,并给出了图数据库建模的六个规则和方法,然后举例说明了其应用。
本文设计了一款基于0.25 um氮化镓PHEMT工艺的8.5-10.5GHz MMIC收发前端芯片,该收发前端由一个功率放大器和一个单刀双掷开关组成.经仿真优化后,在工艺线上进行了流片,并载片
在小学数学课堂教学中，教师不仅要让学生掌握课本知识，还要在学习过程中培养学生良好的数学学习能力。数学学习能力的高低直接关系小学生的未来发展，必须得到每一位小学数学教师
依据国家《特种设备安全法》,特种设备安全工作应当坚持安全第一、预防为主、节能环保、综合治理的原则。研究者在多年的锅炉安装队伍评审工作中发现,大多数的锅炉安装公司或
采用野外调查与室内分析相结合的方法，研究了巨尾桉工业原料林下植物多样性、土壤因子的变化特征以及二者之间的关系。结果表明，物种丰富度指数是草本层最高，而Simpson指数，Shann
中国是茶文化的故乡,也是最早种植茶叶、最早形成饮茶习俗的国家。在长期的发展过程中,茶已经逐渐成为我国的一种民族文化,在人们的日常生活中有着非常重要的作用,并且已经逐