【摘 要】
：
现有MapReduce工作流中作业之间需将计算结果物化到HDFS(Hadoop distributed file system),大量磁盘I/O导致其效率较低.基于现有代表性工作Hive,提取并保存MapReduce工作流产
【基金项目】
：
国家自然科学基金项目(61103046);中央高校基本科研业务费专项;东华大学“励志计划”(B201312)
论文部分内容阅读
现有MapReduce工作流中作业之间需将计算结果物化到HDFS(Hadoop distributed file system),大量磁盘I/O导致其效率较低.基于现有代表性工作Hive,提取并保存MapReduce工作流产生计算结果的数据特征,提出一种计算结果匹配和重用策略.首先,根据查询条件定义连接图与连接体等结构,用于可复用计算结果的匹配.基于该结构,根据HiveQL(Hive query language)解析出的抽象语法树,提出生成查询语句连接体算法,并遍历候选连接体列表,给出最佳重用方案生成方法,包括单连接体重用和多连接体重用策略.进一步,为了增加计算结果的重用概率,提出多键选择、推迟算数运算和语义理解3种方法.最后,使用数据仓库基准测试数据集TPC-H和SSB进行实验,验证了所提出的重用计算结果以提高数据处理速度的有效性.
其他文献
传统村落是地域文化、民俗风情的重要载体,海草房作为传统村落的典型代表,也是胶东地区的经济文化的印证。本文以荣成海草房为例,探究传统村落的保护与利用。通过对63处海草
党的基层组织是确保党的路线方针政策和部署贯彻落实的基础。新时代如何进一步强组织、建阵地、聚人心,推进基层服务型党组织建设,不断激发基层党建工作创造性,就要做到:深入
2008年“彝族刺绣”被列入了第二批国家级非物质文化遗产名录,非物质文化遗产在现今社会越来越受到世界各国人民的重视,花腰彝服饰艺术有着迷人的魅力和不同于当代流行服饰中
<正> “创新是一个民族的灵魂。”不断地推陈出新、紧跟时代前进的步伐正是中国莱肴得以生生不息、持续发展的法宝。面对着竞争日趋白热化的餐饮市场,通过创新从而形成新的竞
特发性震颤(ET)的病因可能包括环境和遗传因素。血中哈尔碱和铅浓度的增高可能和ET发病有关。遗传具有异质性,目前已经发现有3个基因位点可能与其发病有关,GABA转运体1型(GAB
<正>2006年高考文综全国卷Ⅰ中的第37题,看似一道很传统的历史材料解析题,但它在传统的形式下,却有着明显的新意,突出体现了以能力测试为主导,以“文明史范式”的主要观点为
高中历史教学自新课改以来,体现出了新的发展趋势,更加注重以学生为中心,促进学生的全面发展。如此一来,教学中培养学生的科学技术意识自然顺应了时代的发展潮流。要培养学生
<正>贵州是一个多民族聚居的民族大省,贵州民族菜即贵州菜,是贵州境内49个民族在与自然界斗争谋生存的过程中逐步形成和发展起来的积聚地方民族个性的特色菜肴。建立在贵州民
目的探讨柚皮素对糖尿病肾病大鼠肾脏的保护作用及其对TGF-β1/smad信号传导通路的影响。方法将糖尿病肾病模型大鼠随机分为糖尿病肾病组和糖尿病肾病+柚皮素组,用药治疗6周