论文部分内容阅读
MapReduce是一种并行数据处理模型.本文讨论了MapReduce模型和其在Hadoop下的实现,研究了其在shuffle过程中可能出现的Reduce端数据倾斜和相关的解决方案.最后说明了在Hadoop下MapReduce的优化配置和使用.
Hadoop平台中的MapReduce模型及优化
【摘 要】
：
MapReduce是一种并行数据处理模型.本文讨论了MapReduce模型和其在Hadoop下的实现,研究了其在shuffle过程中可能出现的Reduce端数据倾斜和相关的解决方案.最后说明了在Hadoop
【机 构】
：
西安石油大学计算机学院
【出 处】
：
信息技术与信息化
【发表日期】
：
2017年12期
其他文献
人类发展正处百年未有之大变局,发展中国家和新型经济体发展势头强劲,和平合作、开放融通、变革创新三大潮流滚滚向前,但全球治理的问题越来越多,全球化趋势与国际关系准则正
制度与文化是管理的两种不同手段,制度管理与文化管理各有优缺点,在实际的运用过程中,管理者往往是二者兼顾,可对于兼顾的度与法以及深层次的原因可能不甚了解。利用势科学的
在日趋激烈的国际竞争和动荡的全球经济背景下,我国的产业布局不合理及产业结构中一系列深层矛盾、弊端逐步显现,这不但制约国家经济稳健、持续发展,还带来不少社会矛盾。在＂
在国家产教融合创新驱动大背景下,构建高校科技成果和企业技术需求之间绿色通道对于实现地方经济结构转型和经济发展具有重要意义。对河南高校部分科研部门开展调研和对河南
慢性泪囊炎是眼科临床上最常见的一种疾病,过去国内外一直采用泪囊鼻腔吻合术治疗,因手术复杂、时间长,患者痛苦大、费用高、术后斑痕,往往患者难以接受.
化疗是目前治疗恶性肿瘤的重要手段，但在治疗的同时，往往会产生一些毒副反应而影响患者的生活质量，甚至使正常治疗不能顺利进行。2003年3月至2004年12月，作者应用艾迪注射液联合
11月20日,2016世界机器人大会在京开幕。本届大会由北京市人民政府、工业和信息化部、中国科学技术协会主办,以＂共创共享共赢,开启智能时代＂为主题,由2016世界机器人论坛、2016
目的：探讨人神经干细胞（NSCs）移植治疗大鼠脑创伤的可行性。方法：取孕14周流产胎儿脑组织，进行NSCs培养及鉴定，并应用Hoechest33258标记细胞。54只大鼠随机等分为假损伤组（A组）、治疗
马克思从物质生产实践出发,认为制度是利益冲突解决机制。随着生产力的发展,不断完善的制度可以最大限度地发挥规范社会行为、协调利益关系、整合社会力量及激励社会主体的作
目的：观察人端粒酶RNA功能区的硫代修饰性反义寡核苷酸（ASODN）对食管癌EC9706细胞凋亡的诱导作用。方法：应用20μmol／L ASODN 1次／d、连续7d转染EC9706细胞，分别于转染前及转染后第1