分布式存储系统上数据划分技术和编译实现

来源 :复旦大学 | 被引量 : 0次 | 上传用户:foreverfreedom5
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来以机群为代表的分布式存储超级计算机系统逐渐成为超级计算机的的主流,与共享存储超级计算机相比,分布式存储机群系统最大的区别是数据分散存储在不同的节点上的,在考虑其科学计算程序的并行化时,除了必须考虑到计算上的并行性外,还必须考虑数据分布的问题。在当前网络传输技术条件下,过多数据通讯是制约分布式存储系统性能的关键所在,因此,基于分布式存储系统的并行化编译的研究重点就在于数据划分技术和一些辅助性的技术。 Stanford大学的SUIF等系统在分布式并行化编译上进行了一定的尝试,但在该领域无论是在理论研究上还是实用系统研发上都还有很多地方需要进一步的研究,本文在研究现有的并行化技术和数据划分技术的基础上,主要在以下三个方面作了一些研究工作:科学计算程序形式上的不规整性往往严重影响其并行性和数据可划分性,而复杂非紧密嵌套循环更是常见的不规整计算模块,因此本文首先在分析常用循环变换的特点的基础上,提出一个复杂非紧密嵌套循环的变换算法,具体benchmark的改写证明,该算法能十分有效的改良一些科学计算程序的并行性和数据可划分性;在这基础上,从实践性角度出发,针对现有分布式并行化系统缺乏一个能有效解决边界问题整体框架的问题,结合我在参与开发我所OpenMPtoMPI自动转换工具的经验,提出自动数据划分的一些实用性算法,包换划分信息的表示,划分信息的合并、传递,划分信息的决策、发布,数组的划块、对齐,数组边界代码的处理和串行程序的处理等。最后,给出一个能覆盖大量科学计算程序的数据划分算法——基于幺模变换的数据划分,该方法以每个循环的划分性为基础寻找一个能覆盖所有循环的幺模变换,它能将单个嵌套循环数据划分的分析和循环间寻求统一全局数据划分的分析有机结合起来,弥补了现有数据划分方法的不足,在具体benchmark测试中取得很好的效果。
其他文献
本文以蠕虫扩散为主要的研究对象,对影响蠕虫扩散的关键因素进行了分析和提取,并建立了影响因素间的基本关系模型。  本文给出了对网络攻击扩散能力的定义,通过对一些知名蠕虫
当今社会是一个高速发展的信息时代,网络在我们的生活中应用越来越广泛,互联网信息技术已经成为当今社会的主流技术。网络教学作为传统教学的延伸和补充,已经成为高校教学的
随着校园网的迅猛发展,校园网原有的管理和手段暴露出了不足。为保护校园网络安全,就需要对连接到校园网中的用户进行身份认证和授权功能。  本文以IEEE802.1x认证协议在校园
随着进化算法的发展,近年来国内外提出了很多多目标进化算法。它们采用了不同的方法来求解,但都是为了寻找最好的近似解。因此,如何判断一组近似解的好坏就变得非常重要。为
随着计算机和通信技术的发展,Internet网络在过去的十几年中迅猛发展,拥塞问题亦越来越严重,现有的拥塞控制算法远远无法满足未来的需要,Internet的继续发展迫切需要寻找新的
  本文主要研究通过现场总线技术实现对嵌入式设备的监控和嵌入式设备的上网并对其进行远程监控,同时研究了虚拟现实技术在监控中的应用。  首先本文采用CAN现场总线组建
本文详细论述了基于计算市场的网格资源管理模型GridMart,对网格计算市场模拟器进行设计和实现,对网格资源管理的定价策略、资源可靠性等进行了深入研究。●在考察和分析国际上
网格的出现是在近些年计算机科学技术的长足发展与网络技术的广泛应用的背景下出现的,怎样利用现有资源解决大规模复杂计算问题成为计算机领域的研究重点,而网格技术就是解决这
随着汽车技术的发展和创新,人类在享受汽车带来的生活便利的同时,也越来越深切的感受到随之而来并日益严重的安全、环境、能源等问题。研究表明,不同的驾驶员驾驶同一车型的
我们的世界已经步入了信息时代,电子邮件作为信息沟通的重要方式和手段,以其方便、快捷等特点,成为互联网上的重要应用之一,将Email与Web相结合的Webmail应用模式也已经成为I