分布式流体系结构DSAR关键技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:PhilippsWang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,以大数据、云计算、物联网、移动互联网等为代表的互联网新兴技术已经成为国际社会普遍关注的热点,在金融、军事、科研、通信、医疗等领域都引起了人们的高度重视。目前,主流大数据、云计算等运行环境通常部署在互联网数据中心IDC(Internet data center)上统一向用户提供服务,依托IDC提供计算服务已经成为重要的技术手段。然而,当前数据中心存在着成本高昂、资源规模有限、功耗巨大等问题,在满足未来社会对计算需求的普遍增长上存在挑战。与此同时,人们周围广泛分布着丰富空闲的异构动态资源,因此,可以考虑利用这些资源构建高效、可靠、低成本的分布式计算环境,这对于构建未来社会的泛在计算网络环境具有重要意义。随着信息社会的快速发展,人们要在异构动态网络上提供分布式计算环境至少面临着网络资源三个方面的基本挑战:网络资源的异构性、网络资源的动态性、网络通信延迟及有限带宽等。然而,目前云计算、网格计算、P2P计算等有影响力的主流分布式计算模型针对上述挑战都存在一定的不足。鉴于近年来流计算体系结构的广泛兴起,本文深入分析了流计算模型的特性,认为其具有计算资源普适性、延迟计算绑定特性、高度数据并行性与多层次并行性等,具有应对异构动态网络挑战的潜力,并首次基于传统的流计算模型提出了一种新型的分布式流体系结构。针对异构动态网络环境下的分布式计算问题,本文分别从计算模型、编程模型、资源管理与性能优化技术、容错技术等四个方面展开研究,其主要工作与创新点体现在:1.提出了分布式流体系结构(第二章)本文深入分析后认为传统的流计算模型具有计算资源普适性、延迟计算绑定特性、高度数据并行性、多层次并行性等特点,对于解决异构动态网络下的分布式计算模型问题具有较大潜力。因此,本文首次面向异构动态网络环境提出了一种新型的分布式流体系结构,将流计算模型推广到分布式计算环境中,构建了分布式流体系结构的基本概念,并设计了其软件栈以支持分布式流处理过程。同时,本文基于Kahn过程网络建立了分布式流计算模型,采用CCS进程代数进行了语义分析。研究人员可以基于分布式流体系结构面向异构动态网络构建高效、可靠、低成本的分布式计算环境。2.提出了分布式流体系结构编程模型(第三章)本文针对传统流编程语言的不足,在分布式流体系结构基础上提出了新型的分布式流编程模型Brook#,以解决在异构动态网络上应用程序的编程模型问题。接着,本文深入剖析了Brook#编译器及其运行时的相关技术,如维护数据一致性的中间列表法、Brook#编译指导语句等,并深入分析了四种Kernel执行模式及其实现机制。基于新型的Brook#编程模型,研究人员可以把注意力集中在应用程序的性能开发上,尤其是多层次并行性,而无需关心资源异构性、动态任务绑定与动态负载均衡等底层细节。实验结果表明,分布式流编程模型Brook#能有效提高应用程序的执行性能,充分开发分布式环境下应用程序的潜在并行性。3.提出了分布式流体系结构资源管理、性能模型与优化技术(第四章)本文针对异构动态网络上大规模资源管理与调度问题,设计了以主从架构与两级资源调度模型为核心的分布式流体系结构资源管理系统。同时,本文进一步分析了四种Kernel执行模式下应用程序的性能模型,以其为基础构建了分布式流体系结构的性能模型,并分析指出其性能瓶颈与性能优化原则,最后提出了两种性能优化技术,即数据流Eager传输技术与计算核心前瞻执行技术。实验结果验证了分布式流体系结构资源管理技术的有效性,同时表明提出的两种优化技术可以有效加速应用执行,降低程序执行开销。4.提出了分布式流体系结构容错技术(第五章)本文分析认为随着商用器件的广泛使用、计算系统规模的持续扩大与异构系统的迅速兴起,分布式流体系结构面临着可靠性的严峻挑战。本文首先分析了分布式流体系结构的结点故障模型与常见错误类型。接着,本文针对运行流级程序结点故障所引起的不易察觉的软错误,结合分布式流体系结构应用程序的特点,引入了容错程序段以有效控制错误传播范围与灵活设置容错粒度,并提出了一种高效低成本的多副本容错方法TREFT,其基于网络闲置资源利用三个程序副本同时进行检错与纠错。实验结果表明,这种灵活的容错技术可以在异构动态网络中有效降低容错成本,提高容错效率。
其他文献
根据贵州省天柱县贡溪向斜重晶石矿整装勘查查明的重晶石矿产资源产出、分布、成矿地质条件及矿产资源分布规律,矿产资源潜力,控矿地质条件及地质构造特征,重晶石矿资源赋存
在当今世界政治、经济、文化都在发生着深刻变革的情况下,我国的高校教育改革也在不断深入推进。面对当前形势,高校学生管理工作还不能够适应,而传统的学生管理工作的方式、
随着硬件设备和网络的发展,数据量和数据维数都以极快的速度增加。大多数模式识别算法在遇到高维数据时,运算的时间复杂度呈指数升高,但是识别效果反而变差。如何对高维数据
<正>制定和执行货币政策、维护金融稳定、提供金融服务是央行的三大职能,金融的稳定和安全关乎经济社会发展全局。2015年2月17日,国务院总理李克强签署第660号国务院令,公布
眼动技术在婴幼儿研究中成为一种流行的研究工具。如何合理地选择和使用眼动仪进行数据收集及分析,是婴幼儿眼动研究者需要考虑的重要问题。本文从眼动仪使用的流程出发,主要
体数据可视化通过直观形象地向用户展示体数据内部隐含的特征信息,帮助用户对数据做进一步的分析与处理,广泛应用于医学、气象、地质、科学仿真等领域。如何构建高质量的数据
目的分析磁共振成像(MRI)联合CT在子宫内膜癌分期诊断中的应用价值与效果。方法选取2014年7月1日至2017年6月30日该院经手术病理检查确诊并接受手术治疗的子宫内膜癌患者50例作
一个日本人因为心脏病做了外科手术,出院时医生给他看账单,他突然怒气攻心,死亡:两个美国律师吃饱了没事做,在办公楼里赛跑,其中一个近视眼撞破了玻璃,从摩天大楼里飞出,死亡:一名叫凯
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
在很多射频识别(Radio Frequency IDentification,RFID)应用中,为获得识别对象的实时数量与种类信息,或者为达到100%的识读率,读写器需要重复识别其覆盖范围内的标签,这种情