【摘 要】
：
为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的
【机 构】
：
北方工业大学云计算研究中心,中国科学院计算技术研究所,中国科学院大学
【基金项目】
：
国家自然科学基金资助项目(60903137,60970132)~~
论文部分内容阅读
为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度。实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。
其他文献
对住区边界空间的忽视,已经引起了诸多城市问题。针对目前住区边界空间现状,结合其内涵、类型及要素,提出了优化原则,并以现状问题最突出的围墙边界为研究对象,提出了优化设
中国大陆房地产市场由于城市化趋势影响,经过了近二十年的高速发展,特别是住宅产业更是高歌猛进,但是近五年,受到中国国家宏观调控政策及市场供求关系的影响,房地产住宅市场
农村小额信贷在支持"三农"发展、帮助农村低收入群体脱贫方面起到不可替代的作用。本文分析了小额信贷机构在经营中面临的信贷风险,指出农村小额信贷与小额保险相结合的发展
Ⅰ型胶原蛋白具有低抗原性、生物可降解性、促进细胞生长增殖等性能,是一种理想的生物医用材料。通过静电纺丝技术制备的胶原蛋白纳米纤维膜不仅具有胶原蛋白的生理特性,而且
本文结合油田开发调整方案优选的多指标特征及群体评价特征,提出了一个多指标群体综合评价方法。该方法在序关系分析法的基础上,通过定义基于向量的诱导有序加权平均(V-IOWA)
数值模拟是研究地下水资源问题的主要手段。介绍MODFLOW和FEFLOW这两款地下水数值模型在国内地下水模拟中的应用,比较分析二者在基本原理、模型特点、以及应用领域等方面的差
以自动气象站的可用性为评估指标,利用中国气象局综合气象观测系统运行监控平台(ASOM)对江西省87套国家级自动气象站进行监控。从数据未到报、数据错误、报文格式错误3方面进
目的了解骨科感染中病原菌的耐药性,以利于做到合理用药,充分发挥抗生素在抗感染治疗中的最佳疗效。方法收集我科2005年6月至2007年6月住院病人伤口分泌物标本500例次,送检行
<正>今年4月10日,国务院常务会议决定自今年8月1日起,将交通运输业和部分现代服务业的"营改增"试点在全国范围内推开,并将广播影视作品的制作、播映、发行等纳入试点。会议还
传统的会计职能被定义为"核算"和"监督"两种,随着现代管理及技术的发展,越来越需要会计在企业运作过程中发挥更多、更重要的作用,需要会计职能从"记账会计"向"管理会计"转变,