Storm流式计算框架反压机制研究

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:zhexiu1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Storm集群提供了强大的实时处理能力,Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当前Tuple负载动态调整队列大小,以适应数据负载的动态变化,并提升系统吞吐量。实验结果表明,该反压机制能够避免反压过程中出现数据流的震荡,同时提高系统性能和稳定性。
其他文献
目的 探讨乳酸依沙吖啶联合米索前列醇终止中期妊娠的效果.方法 200例中期妊娠要求引产患者随机分为观察组和对照组各100例,观察组给予乳酸依沙吖啶羊膜腔内注射后,于阴道后
滴虫性阴道炎是常见的阴道炎,由阴道滴虫引起阴道内炎症,是最常见的性传播疾病之一,主要表现为白带增多、外阴瘙痒、有腥臭味,瘙痒部位主要为阴道口及外阴,伴有灼热、疼痛,如
为了辅助医生对帕金森病患者进行更好的诊断,采用遗传算法对患者步态特征和支持向量机参数进行协同优化。在特征选择部分将步态特征和支持向量机参数使用二进制编码的方式生
目的观察奥曲肽治疗急性重症胰腺炎的临床效果。方法将60例急性重症胰腺炎患者随机分为治疗组和对照组各30例。对照组给予常规治疗,观察组在常规治疗基础上给予奥曲肽治疗。
振动流化床干燥是陶瓷干法造粒过程的一个重要操作单元。针对卧式多室振动流化床干燥装置能量利用率不高、耗能较大等问题,基于陶瓷原料在振动流化床干燥中的动力学模型、传
数字无限脉冲响应陷波滤波器的作用是抑制或滤除数字信号中一些特定的频率分量。在基本的二阶陷波滤波器的基础上,通过增加零极点对,设计一种新的单频陷波滤波器,设置两个极