【摘 要】
：
Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题,提出了一种Hadoop参数自动优化的方法和分析框
【机 构】
：
西南交通大学信息科学与技术学院,四川省云计算与智能技术高校重点实验室（西南交通大学）
【基金项目】
：
国家自然科学基金资助项目(61573292);四川省科技计划项目(2019YJ0214)~~
论文部分内容阅读
Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题,提出了一种Hadoop参数自动优化的方法和分析框架。首先,对作业运行流程进行解耦,从可变参数直接影响的更细粒度的角度定义微操作,从而分析参数和单次微操作执行时间的关系;然后,利用微操作对作业运行流程进行重构,建立参数和作业运行时间关系的模型;最后,在此模型上应用各类搜索优化算法高效快速得出优化后的系统参数。在terasort和wordcount两个作业类型上进行了实验,实验结果表明
其他文献
克氏原螯虾虾头中含有丰富的内源酶,通过紫外线照射可诱导其发生自溶反应,制备滋味鲜美的蛋白酶解液。以水解度为指标,通过单因素试验和响应面优化紫外诱导克氏原螯虾虾头的
近年来我国越来越多的建设工程采用PPP项目合作的方式来使工程承包方编程社会投资人,进而实现优势互补。基于PPP模式下的高速公路建设中,政府部门的职能也发生了很大的转变。
系统认识和解决地方院校大学生就业教育课程建设的意义、特点、目标定位、课程类型、组织实施、管理与评价等方面的问题，对进一步推动地方院校大学生就业教育课程建设，保证高校
高校大学生＂就业难＂是一个长期的突出问题,尽管高校将大学生的就业教育放在突出重要位置,但从目前看,全程化的大学生就业教育体系远没有建立,教育效果有待提高。分析全程化大学
炭疽病是近年来我国山药生产上经常发生的一种病害,随着山药种植面积的增大,该病呈逐年加重趋势,严重年份发病率在50%以上。文章综述了山药炭疽病的发生条件、规律、特点及症
就业教育是高校人才培养的重要内容。在当前就业形势日趋严峻的形势下，加强对在校学生的就业教育是帮助学生树立正确就业观、价值观，解决思想问题，促进就业的有效办法。高等学校
金融服务外包怍为一个新兴领域在国外比较热门。随着中国经济的发展，中国金融业面临着激烈的竞争，金融业务外包也越来越引起国内理论界的关注。本文通过对金融服务外包的比较分
柴油与空气在柴油机燃烧室形成可然混合气，当混合气浓度偏高时，柴油不能完全燃烧，柴油受高温分解形成碳黑，随废气一同排出，造成排气管冒黑烟，具体故障原因与排除分析如下：
<正> 胚珠培养是植物组织培养的一个重要方面,该项技术最初尝试于30年代,并在兰科植物上获得成功,50年代以后不断得以完善并取得了重要突破。在观赏园艺、蔬菜以及果树等方面
建立了同时测定蔬菜（青菜、菜豆、卷心菜、番茄）中咯菌腈、虱螨脲和溴虫腈等农药残留的高效液相色谱法。蔬菜以乙腈高速匀浆提取,过NH2小柱净化,再用甲醇定容。而土壤样品较干