数据网格环境下的副本管理技术研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:chmwingflying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据网格是面向异构分布环境,为更好地解决海量数据难以组织、难以处理等问题而建立的架构,实现了对海量数据的一体化访问、存储、传输、管理与服务,是实现广域网环境下数据共享和协同问题求解的有效途径,极大地推动了基于大规模数据管理的科学研究和工程实践的发展。数据网格技术可以为生物医学、天文学、高能物理等科研领域中的大量数据提供有效管理和共享的途径。为了提高数据可用性、增强系统性能和减少网络利用率,在数据网格中引入了数据复制技术,但是数据复制不可避免地引起副本管理的问题。如何针对数据网格的特点,建立高效的副本管理策略,从而提高数据网格的访问性能、改善系统的整体性能和降低网络利用率,已成为数据网格中的一个研究热点。
  本文首先对数据网格的概念、研究背景和研究现状进行了概述,其次介绍了本文的研究目标和主要研究内容,然后详细阐述了数据网格中副本管理技术的相关研究。基于对国内外相关研究的分析与对比,本文以系统性能、可扩展性和自适应性为目标,对副本管理关键技术进行研究,提出了基于存储共享组的副本创建策略、基于价值的副本替换策略和基于预测的副本一致性维护策略,进一步提高系统性能。
  本文的主要研究工作如下:
  1.针对数据网格环境的分布式特点和动态特性,本文提出了基于存储共享组的副本创建策略GBRC(Group-Based Replica Creation),主要由存储节点分组、副本创建时机选择和副本放置算法CBRP(Cost-Based Replica Placement)三部分组成。GBRC策略首先依据网格系统中节点间的网络带宽进行分组,建立存储共享组SS(Storage-Sharing Group);然后根据存储共享组内节点对单个文件的请求访问次数,选择文件在SS内创建副本的时机;最后综合考虑副本文件被访问次数和节点间的网络带宽,实现副本文件在SS内的合理放置。通过模拟实验验证了GBRC策略的有效性和正确性。
  2.针对数据网格中用户访问的不同特性和文件传输对网络产生的影响,提出了基于价值的副本替换策略VRRS(Value-Based Replica Replacement Strategy)。VRRS依据历史访问记录,按照访问时问越近权值越大的原则,计算单个文件的权值,以此代表其将来被访问的可能性;然后结合副本文件的访问成本,计算单个文件的价值。当节点存储空问有限时,触发副本替换策略,删除价值最小的副本文件,直至节点内存储空间满足需求。通过模拟实验验证了VRRS策略的性能优越性。
  3.针对数据网格环境中副本数据一致性维护的相关问题,分析和总结了现有研究现状及不足,在此基础上提出了基于预测的副本一致性维护策略PRCS(Prediction-Based Replica Consistency Strategy)。PRCS策略综合了积极更新方法和消极更新方法的不同特点,维护系统内副本文件的一致性。当系统内副本产生更新时,首先使用积极更新方法维护主副本间的强一致性;然后预测次副本文件的访问请求时间和主副本文件下次更新时间,对比两者间大小,以此作为次副本文件是否进行更新的标准,从而达到改善系统性能、降低通信开销的目标。通过模拟实验验证了PRCS策略的有效性。
其他文献
期刊
会议
期刊
期刊
期刊
会议
期刊
学位
学位
学位