【摘 要】
：
随着对实时数据流处理需求的增加,分布式流处理系统的发展也越来越受到关注.大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战.
【机 构】
：
哈尔滨工业大学计算机科学与技术学院;
【基金项目】
：
国家重点研发计划(2018YFC0830602)
论文部分内容阅读
随着对实时数据流处理需求的增加,分布式流处理系统的发展也越来越受到关注.大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战.目前已有的分布式流处理分组策略通常关注并行实例之间元组数量的均衡性,而忽视了系统异构性对分组策略造成的影响.该文提出了一种时间感知分组算法,通过对分布式流处理系统存在的网络异构性和处理能力异构性的分析,综合考虑流处理系统中各下游算子实例的处理时间以及上游算子与下游算子之间的通信时间,并根据键值的频率不同制定不同的路由策略,在较小的开销下使系统达到负载均衡.在Apache Finkl分布式流处理系统上进行的实验结果表明:时间感知分组算法比已有的分组算法在系统吞吐量上提高了10%,在平均处理延迟上降低了33%.
其他文献
随着高轨道通信卫星向着大型化、高功率和长寿命方向不断发展,未来卫星在轨服务技术具有巨大的应用前景。传统卫星平台结构和规模日益复杂,难以满足在轨服务的需求。折展机构
为咪唑乙烟酸污染土壤的生物修复提供菌源,采用瓶富集培养法,从长期施用咪唑乙烟酸的土壤中筛选出1株对咪唑乙烟酸降解能力较强的放线菌,命名为S181.该菌株可利用咪唑乙烟酸
通过模型曝气实验研究了公分石、火山石、500级陶粒、高强级陶粒4种基质和空白水柱分别在0.19、0.38、0.76m3.(m2.h)-13种曝气强度下的充氧性能.结果表明,在相同条件下,曝气
干部带病提拔表现为三大征兆:制造虚假政绩、虚假档案或者建立利益共同体而获得提拔。干部带病提拔之所以难以根治,乃在于它是一个自组织、自运营、自我增能的隐秘社会交换闭
文章对我国政府危机管理工作中存在的问题进行了分析,并提出了有效措施。
<正> 同志们: 人民银行总行于4月份召开了全国人民银行信贷登记咨询系统制度工作会议,决定今年在全国300个大中城市全面推行银行信贷登记咨询系统。这项工作涉及面广、时间紧
<正> 自二十世纪七十年代以来,伴随着信息技术的高速发展,世界金融业进入了电子化、信息化时代,尤其是电子计算机和网络技术在银行业务中的广泛应用,大大提高了金融业的工作
为解决设计不当或管理不善等原因造成的湿地堵塞问题,深入揭示湿地堵塞特性及形成机制,试验研究了芦苇潜流型水平流湿地和垂直流湿地的堵塞特性,并以此比较了2种湿地长期运行
近年来,我国外汇储备适度规模和结构的优化问题一直是国内外学者的广泛关注和讨论的焦点,外汇储备规模过大和结构失衡也是我国外汇储备管理面临的最主要问题。但是在经历了外