云计算中的MapReduce并行编程模式研究

来源 :河南理工大学 | 被引量 : 0次 | 上传用户:coosi_cui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是并行计算、分布式计算和网格计算的发展,使并行技术走进了人们的生活。云计算、个人高性能计算机(PHPC)等技术的深入发展,使许多技术人员开始从单机工作模式向并行计算模式转变。云计算的逐步普及使并行程序设计成为许多程序设计人员必须面对和解决的一个关键性问题。Google提出的MapReduce并行编程模式极大的降低了并行程序的开发难度。与传统的分布式程序设计相比,MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的编程接口,极大的简化了并行程序设计的难度。本文首先介绍了云计算的概念、基本理论和研究现状,阐述了几种传统的并行编程模式,分析和研究的它们的原理和发展。对Google云计算和Hadoop云计算架构进行了简要的介绍,并将MapReduce与MPI进行比较,研究两者的区别与各自优势。文中详细地阐述了MapReduce的编程思想,分析和研究了MapReduce解决问题的工作原理、具体步骤和方法。介绍了MapReduce的容错机制,并对MapReduce作业的调度算法进行了详细的分析。研究了MapReduce在异构Hadoop集群环境下的性能差异,分析了异构环境对MapReduce性能的影响。本文提出一种新的数据分配机制HDDM,以集群中各异构节点的计算比率为依据来分配输入文件,提高了MapReduce在异构Hadoop集群中的性能。最后通过实验证明,我们提出的数据分配机制HDDM能够极大的提高MapReduce程序的执行效率。
其他文献
软件开发过程是一个对国民经济建设和软件技术发展均有重大理论意义和实用价值的研究课题。在软件开发过程中,用户需求不断变化,各种意想不到的情况层出不穷,令软件开发过程
信息隐藏与信息检测技术是20世纪90年代中后期发展起来的作为信息安全领域的一门新兴交叉学科。本文主要的研究内容是以数字图像为载体的信息隐藏技术和信息检测技术。本文对
随着IT行业的快速发展和企业基本业务需求的不断增长,目前软件体系结构越来越难以处理日益增长的软件复杂性。然而,近年来,业界提出的面向服务体系结构(SOA)作为软件架构中下
随着本体在信息科学领域的广泛应用,现代知识密集型企业内部产生了大量的本体。企业要想在激烈的市场竞争中取得优势,就需要集成这些局部本体,以获取更好的知识服务。现有的
在油田勘探、开发生产过程中,移动环境下的生产数据传输频繁、传输数据量大,数据处理复杂度高。但是各生产单位地理位置偏远、环境复杂,所采用的通信设备种类繁多、网络条件
粗糙集理论是一种处理不精确、不确定和不完备信息的数据分析方法,现实应用中数据的规模和复杂程度不断增大,限制了粗糙集理论与技术的应用和拓展。决策信息系统分解作为一种数
无线传感器网络作为传感器技术、微电子技术和无线通信技术相结合的产物,成为计算机科学领域一个活跃的研究分支,在军事和民用中开始得到广泛的应用。无线传感器网络由大量低
随着数据库技术的迅速发展和信息系统的广泛应用,企业管理效率提高的同时也促成了海量数据的积累,一些大规模的系统,如证券、银行和人口统计等系统的数据量甚至超过了TB级。
随着物联网日益普及,对智能终端、智能传感器等智能设备的需求迅速增长,嵌入式微处理器和嵌入式实时操作系统(Real-Time Operating System,RTOS)是智能设备的核心,物联网的应
在勘探开发技术领域,众多石油公司正面对着越来越复杂的地质情况、越来越繁杂的项目数据和以及越来越紧迫的决策周期。因此,调整业务结构,优化工作流程,大力提升信息化建设和