论文部分内容阅读
分布式计算系统越来越成为高性能计算的一种重要形式,分布式计算系统中并行I/O理论与技术是一个值得研究的重要课题。本文深入地研究了并行I/O数据文件分配存储和访问调度策略,提出了并行I/O数据文件分割、分配存储方法,其中包括了大型数据文件的分割策略和大量小型数据文件的分组策略,对数据存储资源的可扩展算法进行了研究,并对数据的访问调度和多维数据的分配存储与访问提出了新的算法。 本文针对分布式计算并行I/O中大型数据文件的分布存储,提出了数据分割存储的新方法,即已知知识的文件拆分与分配策略(KKFDA),它能够保证在将大型数据文件分割为文件数据块存储时,保证文件分布存储方式与访问方式的一致性,提高磁盘本地命中率、降低数据访问延迟。 本文针对由大量小文件组成文件组的分配存储问题,在研究相应数据文件分发策略的基础上,提出了二种具有可扩展性的策略,即可用百分比决策(APD)和分段选择与可用百分比决策相结合(CSSAPD)的自适应数据分配策略。另外,考虑对每个磁盘上文件服务时间变化的优化,本文还提出了一种新的应用于分布式计算环境的启发式文件分类分配策略(HFSA)。它在保证系统负载基本均衡的前提下,按相似的访问服务时间对每个待分配的数据文件进行磁盘分配,使服务时间相同或相近的文件分配到同一个磁盘上,这样就能够降低每一个磁盘上文件服务时间的变化,提高分布式计算系统的性能。 本文在并行I/O访问策略方面提出了自适应平等划分I/O调度(AEQUI)和二次调度自主维护负载平衡动态I/O调度(DIO TSMB)二种新策略。自适应平等划分I/O调度策略在进行并行I/O访问的负载平衡时,既考虑了未分配的I/O请求在I/O服务器上进行平等的分配,又考虑到了已经分配到某一台I/O服务器上任务处理的实际情况,是一种有效的新方法。DIO TSMB是基于负载平衡策略中的接收者驱动策略提出来的,应用于分