【摘 要】
：
近年来,互联网各类型的数据不断增长,数据的应用场景也越来越广泛.如何将各种类型数据自动整合后接入不同的场景平台成为了各界关心的问题.业界通常采用流水线工具进行任务调
【机 构】
：
中国科学院计算机网络信息中心,北京 100190中国科学院大学,北京 100049;中国科学院计算机网络信息中心,北京,100190;中国烟草总公司郑州烟草研究院,河南 郑州,450001;
论文部分内容阅读
近年来,互联网各类型的数据不断增长,数据的应用场景也越来越广泛.如何将各种类型数据自动整合后接入不同的场景平台成为了各界关心的问题.业界通常采用流水线工具进行任务调度,然而大多数流水线工具都无法将任务分割为多个子任务并行执行.因此本文提出一种基于层次分割和聚合的大数据流水线任务处理方法:首先在分割模块中将流水线中的任务分割为多个子任务,然后在合并程序中等待各子任务全部完成,合并结果,最终获得整个任务的完成事件.实现了利用流处理框架处理有限数据集,扩展了流处理系统的使用场景,提升了流水线工具的代码重用性.实验表明,本文方法极大减少了数据库I/O次数,使得本文方法处理DBLP[11数据的速率是Apache NiFi[2]传统处理方法的7倍多.
其他文献
茶树作为我国重要的经济树种之一,受温度胁迫的影响较大,ERF转录因子在调控温度胁迫过程中发挥重要的作用。本研究通过RT-PCR方法从茶树‘迎霜’叶片的c DNA中克隆得到2个ERF
《科研信息化技术与应用》是中国科学院计算机网络信息中心、科学出版社共同主办的一份综合性、学术性刊物,旨在反映当前世界范围内科研信息化技术与应用的最新发展现状,研究立足于我国科技发展水平的科研信息化建设和发展策略
比较东北地区10种蒲公英(Taeaxacum.)叶片解剖结构,并确定其分类学意义,以期为蒲公英属分类鉴定研究提供理论依据。采用石蜡切片法对东北地区10种蒲公英叶片进行比较解剖学研
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
介绍了 2ZK× 176 0 型双轴振动筛的强度有限元计算 ,计算结果与实际情况基本吻合 ,该模型计算结果对改进设计具有重要意义
The finite element method of 2ZK × 176 0 bia
本文判明了Eratosthems筛法过程中自然数呈等差数列的排列规律,又由欧拉函数揭示了素数的分布、孪生素数以及哥德巴赫猜想等问题的同一性和所得结论的合理性,得到了偶数2n可
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥