基于 MapReduce 工作流优化器的研究

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:sznc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对MapReduce工作流的优化主要是通过对MapReduce栈的优化实现的。针对MapReduce工作流的优化问题,首先,提出相关概念;其次,介绍MapReduce工作流基于成本的优化过程;然后,通过实例阐述MapReduce工作流中的数据流依赖和资源依赖关系。基于此,提出3种MapReduce工作流优化器,并对其进行端对端的评估。最后,通过实验评估工作流优化器的优化开销并对比分析了这3种工作流优化器。
其他文献
企业文化建设是现代企业制度的重要内容,是企业综合实力的集中体现。而工会作为企业内部重要的群众组织,有得天独厚的群众基础,最贴近职工群众,最清楚职工群众的所思所想,具
“我们区是街道党工委书记兼任工会主席,而不是副职兼任工会主席。”近日,西安市莲湖区北院门街道总工会组织员李波,在该区工会组织员培训班上如是说。
通过正硅酸乙酯与聚酰胺酸的N-甲-2-吡咯烷溶液的溶胶-凝胶反应,制备出新型的聚酰亚胺/二氧化硅纳米复合材料。用紫外-可见光、电镜、高阻计等手段对其光学透明性、微观结构、热稳定性
对添加聚苯乙烯(PS)作粘结剂的铜粉进行了温压成型试验,研究了PS含量、温压工艺参数等对温压压坯密度的影响。结果表明,PS的加入可以明显提高铜粉温压压坯的致密化程度,提高压坯的相对密
近日,中铁十一局集团建筑安装工程有限公司工会告别了过去以"一表一证"甚至直接代办的职工入会方式完成职工入会,在中铁十一局集团公司各子公司中首次为新入企员工集中举办了隆
阐述了塑料轴承的选材、设计,以及几种常用工程塑料轴承的研究与开发状况。表明了无油润滑塑料轴承浊一种很有发展前途的应用价值的产品,就加快研究与开发。
气功对物种优化的初探郑州市气功科学研究会张家亮郑州市气功科学研究会气功应用研究委员会,在张力田同志、苏林成副教授、刘宇高级农艺师和赵晓忠助工主持下,进行了“气功在夏
针对基于响应时间的Web服务组合,提出一种迭代加深的A*算法(IDA*算法)对服务节点进行搜索筛选。在利用节点数量的要求设计出服务节点限制判断条件的基础上,将该IDA*算法进行具体实现。实验结果表明,与图规划搜索算法相比,该IDA*算法在所需目标节点数较少的范围内比图规划搜索效率高。还进一步将IDA*改进为基于top-k的算法,并进行分析比较。
任务调度是云计算的关键技术之一,其主要目标是能更有效地满足系统资源和任务的公平性,同时尽可能实现系统资源的负载均衡。结合遗传算法的优点,提出一种公平均衡遗传调度算法FBGSA(Fair Balanced Genetic Scheduling Algorithm)。该算法充分考虑到任务调度过程中资源和任务的公平性问题,以及资源的负载均衡等因素。实验结果显示该算法不仅可以有效减少任务总完成时间,而且可
在金属工件的生产过程中,不可避免地会生产出一些不良品,必须进行快速识别。缺陷检测系统需使用图像采集设备采集金属工件的表面图像,完成混合噪声滤除等预处理后,进行图像配准并使用差影法分割图像,然后标记缺陷和提取缺陷纹理特征,最后进行工件缺陷的分类和识别。为了提高金属工件表面检测系统的检测速度,以满足高速生产流水线对检测系统的高实时性要求,依托GPU平台设计了一套合理的并行算法来完成不合格工件的自动检出