【摘 要】
:
本文针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统容错机制的原则性策略。结合当前比较典型的Heron流式计算平台,重点研究了Heron流式计算平台容错机制。本文主要从Acker组件线程分配机制和拓扑参数更新机制两方面对Heron平台容错机制进行改进。首先,Heron现有的元组跟踪监控机制会将Acker组件线程数量设为定值,该策略无
论文部分内容阅读
本文针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统容错机制的原则性策略。结合当前比较典型的Heron流式计算平台,重点研究了Heron流式计算平台容错机制。本文主要从Acker组件线程分配机制和拓扑参数更新机制两方面对Heron平台容错机制进行改进。首先,Heron现有的元组跟踪监控机制会将Acker组件线程数量设为定值,该策略无法适应元组数量的动态变化,元组数量过少时会造成因Acker组件线程过多导致的线程浪费;元组数量过多时会造成因Acker组件线程负荷过大导致的通信消息高延迟。为了合理利用内存,本文提出了一种从节能角度出发的元组跟踪策略,将元组通过散列函数映射到一个散列表中,按照散列表的占用情况动态调整Acker组件线程的数量,使Acker组件线程数量与当前拓扑中数据流的大小相适应;其次,Heron现有的拓扑参数更新机制需要编程人员根据经验选择集群的元组超时重传时间,这种策略具有一定的风险和随机性,可能会导致恢复开销较大的问题,通过对Heron拓扑属性的分析,提出了拓扑动态重传策略,拓扑动态重传策略由元组标记策略和元组自适应重传策略两部分组成。元组标记策略通过重构根元组ID的方法将时间标记加入根元组ID中,提供了一个低能耗、低延迟的元组时间监控方法;元组自适应重传策略通过收集根元组时间样本计算适应当前拓扑的超时重传时间,并更新到拓扑配置中,降低集群组件过载的概率。本文针对基于负载均衡的元组跟踪策略共设计了三组对照实验,分别验证该策略对吞吐量的影响、内存开销和集群负载。实验结果表明,基于负载均衡的元组跟踪策略与默认跟踪策略相比,线程内存开销前者比后者降低19%,集群负载均衡方面前者比后者跟踪元组数量稳定,线程过载几率大大降低。本文针对拓扑动态重传策略也设计了三组对照实验,实验主要测试算法在正常情况和极端情况的性能优化以及在不同拓扑中的性能优化,在使用拓扑动态重传策略时,集群的性能和吞吐量都有所提高,其中Sentence Word Count拓扑性能提高最为明显。拓扑动态重传策略与默认重传策略相比,集群的元组失败率和CPU占用率在不同情况下平均降低了16%和0.6 GHz,集群吞吐量平均提高了13%。因此,拓扑动态重传策略在增加少量时间开销的基础上,能够有效地提高集群的性能。
其他文献
本报告为《朱莉娅与火箭炮》的英译中翻译实践报告。该实践材料选自英国女作家Anna Kavan的同名小说集Julia and the Bazooka。该作品主要描写了基于作者生平的故事,属于自传性质的文学小说。该小说写作风格别具一格,以大量主观性视角描写为主、用词极富冲击力、句子富有隐含意义。文学作品的翻译不仅要完整地呈现原作中所包含的信息,更要展现原作的写作特色及隐藏含义等。译者是作者与读者、源语
2014年,财政部发布修订后的CAS 30,在准则层面规范定义其他综合收益并完善其列报要求。理论上,其他综合收益可以弥补传统收益信息的不足,为信息使用者提供更全面而真实的收益信息,提高收益信息的决策有用性。迄今为止,国内外学者对其他综合收益决策有用性的研究集中在价值相关性角度,而关于其他综合收益契约有用性的研究文献相对匮乏。对此,本文基于债务契约和报酬契约双重视角探讨其他综合收益的契约有用性,对当
本文为《关注二语教师教育》(Mindful L2 Teacher Education(Chapter 9 and 10)第九、十章英译汉翻译实践报告,由Karen E.Johnson和Paula R.Golombek合著,是一本培育教师专业发展的教育学著作。本书第九章是对二语教师教育实践中对话互动的微观成因分析。第十章阐述了回应型调解的特点以及它对教师转变思维方式以实施教学实践的影响。本文在翻译实
如今,我国航空运输流量日渐增大,这使得机场安全性成为航空业发展的重中之重。在机场的众多安全保障设施之中,助航灯光系统对航班的起降过程有着十分重要的作用。因此,国际民
随着工业4.0时代的到来,AEC/FM领域基础设施全寿命周期管理也逐步实现数字化和自动化。在道路设施的资产管理和运维方面,以CAD/BIM模型为平台的数字项目管理模式因其协同性、模拟性、可视化等诸多优势,获得了广泛的研究应用发展。同时,道路CAD/BIM模型所包含设施信息的可用性和准确性是决定该项目管理模式成功运作与否的关键,而设施信息的可用性和准确性又由信息获取方式决定。传统的测量方式需要消费大
目的在细胞和动物实验水平上,研究LSD1抑制剂优降宁(Pargyline)与化疗药物多柔比星(Doxorubicin)联合应用对小鼠三阴性乳腺癌4T-1细胞增殖、迁移和侵袭的影响。方法(1)用CCK-8法检测不同浓度优降宁、多柔比星对小鼠乳腺癌4T-1细胞增殖的影响;(2)乳酸脱氢酶释放实验检测药物的细胞毒性,并以Chou-Talay法分析优降宁和多柔比星的药物联合作用效应;(3)细胞划痕实验及T
随着科学技术和生活水平的日益提高,二维信息已不能满足人们逐渐增长的观感和视觉需求,而三维重建技术为解决这类问题带来了一线生机。目前,根据重建的设备不同,三维重建技术主要分为:基于主动视觉和基于被动视觉的三维重建。基于被动视觉中,使用序列图像进行三维重建的方法,由于其成本较低,获取图像简便,自动化程度高等优点,广泛应用于各个场合。基于无人机图像序列的三维重建技术更是因为其可重建尺度较大的物体或者大规
党的十九大报告与十九届四中全会提出进一步深化医保改革的要求,国家医保局于2018年12月20日,发布《关于申报疾病诊断相关分组付费国家试点的通知》,甄选30个试点城市开展按病种付费试点工作,旨在规范医疗机构经营、对医药实施降本控费,保证患者住院就医质量。天津市作为此次开展按病种付费结算方式改革工作的试点城市之一,在2012年已先尝试进行按病种付费结算方式的试行工作并延续至今。通过对天津市医保按病种
桥梁施工监控是大跨度钢箱提篮拱桥施工过程中的重要环节,其目的是使桥梁成桥状态尽可能地满足设计和规范的要求。本文以陕西蔡家坡东四路跨渭河特大桥(以下简称渭河大桥)为工程背景,利用正装有限元模型对渭河桥的关键施工阶段进行仿真,主要研究了温度对钢箱拱肋架设的影响、吊杆张拉顺序的优化、吊杆张拉过程的监控、拱肋落架以及桥面系钢管支架拆除方案的研究、吊杆锚固区应力分布与插耳销轴连接的受力特性。主要研究工作和成
自BIM理念提出以来,建筑工业化和住宅产业化进程在我国逐步推进,建筑行业的发展速度稳中有升。工厂预制、现场拼接的施工理念符合我国的基本国情,使得各类装配式建筑结构迅速发展。由于施工工艺不断创新,传统现场砌筑的工艺方法展现出一系列问题,促使预制装配化配筋砌块砌体结构成为砌块结构体系的发展方向,工业产业化的施工理念与砌体结构施工特点的有机结合将成为砌体结构工业化生产的巨大优势。本文提出一种关于装配式配