MapReduce:新型的分布式并行计算编程模型

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:flexhansen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件。用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度。MapReduce日益成为云计算平台的主流编程模型。Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善。
其他文献
"中美合作百万册数字图书馆计划"(简称CADAL)已建成了含有100万册电子图书、数据信息量达到150Tbytes的数字图书馆,具有很高的科学参考价值。本文围绕数字图书馆的海量信息管
多环芳烃类化合物(Polycyclic Aromatic Hydrocarbons, PAHs)是典型的持久性有机污染物(Persistent Organic Pollutants,POPs),具有强烈的致突变作用(muta-genesis)、致癌作用(carcinog
本文通过分析港口企业在成本管理中存在的问题 ,阐述了现代企业制度下港口企业成本管理应树立全员、全过程、全方位的成本管理理念和成本效益观念。成本管理的方法应科学化、
为掌握北京市备用水源地——官厅水库周边的蔬菜地表土中多环芳烃(PAHs)的污染状况及来源,于2008年11月在延庆县小丰营蔬菜产地采集了48个表土样品(0~20cm)测定PAHs含量,并综
<正>Q我和前妻离婚时,协商小孩随前妻一起生活。现在,前妻想放弃小孩抚养权,我愿意抚养但希望通过法院变更抚养权或者通过其他具有法律效应的途径。
分别利用振荡平衡法和柱淋溶法研究了5种磺胺类抗生素(磺胺嘧啶,磺胺甲嘧啶,磺胺二甲嘧啶,磺胺二甲氧嘧啶,磺胺甲恶唑)在5种不同土壤中的吸附和淋溶特性及其影响因素.结果表
根据国家“十一五”农村公路发展规划的要求,农村公路建设尚需要投入大量的资金。在减免农业税、取消“两工”的背景下,农村公路建设的资金从何而来成为一个非常重要的问题。
祠庙建筑在中国的传统文化与宗族历史发展中一直占据着非常重要的位置,尤其是在祠庙建筑中处于基础地位的民间宗祠。宗祠建筑往往是一个村落或家族中装饰最为华丽、建筑形制
公路工程款支付是公路工程项目财务管理的核心内容,如何做好工程款支付结算是业主、承包商、监理单位共同关心的问题,本文对施工过程中相关的工程款支付控制以及与其有关的问
选用阳离子表面活性剂十六烷基三甲基氯化铵(CTAC)、癸基三甲基溴化铵(MTAB)以及三甲基正十四烷溴化铵(DTAB)改性活性炭.结果发现,表面活性剂加载使得活性炭的比表面积、孔径